Shell 编程 范例 
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不 同 于 传统 Shell 书籍 ， 本 书 并 未 花 大 篇 幅 去 介绍 Shell 语法 ， 而 是 以 面向 “对 象 " 的 方式 引入 
大 量 的 实例 介绍 Shell 日 常 操 作 ，"“ 对 象 " 涵盖 数值 、 逻 辑 值 、 字 符 串 、 文 件 、 进 程 、 文 件 系统 
等 。 这 样 有 助 于 学 以 致 用 ， 并 在 用 的 过 程 中 提高 兴趣 。 也 可 以 作为 Shell 编程 索引 ， 在 需要 的 
时 候 随时 检索 。 


介绍 


e 项 目 首页 : http://www.tinylab.org/open-shell-book 
e 代码 仓库 : https://github.com/tinyclub/open-shell-book 
。 在 线 阅读 : http://tinylab.gitbooks.io/shellbook 


更 多 背景 和 计划 请 参考 : 前 言 。 


安装 
以 Ubuntu 为 例 : 


sudo apt-get install -y retext git nodejs npm 

sudo ln -fs /usr/bin/nodejs /usr/bin/node 

sudo apt-get install -y calibre fonts-arphic-gbsn001p 

sudo npm install gitbook-cli -g 

sudo rm /usr/local/bin/gitbook 

sudo sh -c 'echo "nodejs /usr/local/lib/node modules/gitbook-cli/bin/gitbook.js \$@" 
> /usr/local/bin/gitbook' 

$ sudo chmod +x /usr/local/bin/gitbook 

$ gitbook install 


2000 圾 的 级 


下 载 


$ git clone https://github.com/tinyclub/open-shell-book.git 
$ cd open-shell-book/ 


编译 


$ gitbook build // 编译 成 网 页 
$ gitbook pdf  ”// 编译 成 pdf 


纠 错 


欢迎 大 家 指出 不 足 ， 如 有 任何 疑问 ， 请 邮件 联系 wuzhangjin at gmail dot com 或 者 直接 修复 
并 提交 Pull Request 。 
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更 多 原创 开源 书籍 


e@ C 语言 编程 透视 
e。 嵌入 式 Linux 知识 库 (eLinux.org 中 文 版 ) 
e Linux 内 核 文 档 (Linux Documentation/ 中 文 版 ) 


版 本 修订 历史 


Revision Author From Date Description 


章 金 falcon ”@ 泰 晓 科 技 2016/08/30 ”增加 一 章 : 用 户 管理 


0.3 @ 关 
@ 泰 晓 科 技 ，2015/07/23 ”调整 格式 ， 修 复 链接 


0.2 @ 吴 章 金 falcon 


0.1 @ 呈 章 金 falcon @ 泰 晓 科 技 ”2014/01/07 ”初稿 


早 在 2007 年 11 月 ， 为 了 系统 地 学 习 和 总 结 Shell 编程 ， 作 者 专门 制定 了 一 个 Shell 编程 范例 
的 总 结 计 划 ， 当 时 的 计划 是 : 


这 个 系列 将 以 面向 "对象 ”( 即 我 们 操作 的 对 象 ) 来 展开 ， 并 引入 大 量 的 实例 ， 这 样 有 助 于 
让 我 们 夏 正 去 学 以 致 用 ， 并 在 用 的 过 程 中 提高 兴趣 。 所 以 这 个 系列 将 不 会 专门 介绍 Shell 
的 语法 ， 而 是 假设 读者 对 Shell 编程 有 了 一 定 的 基础 。 

另外 ， 该 系列 到 最 后 可 能 会 涵盖 : 数值 、 逻 辑 值 、 字 符 囊 、 文 件 、 进 程 、 文 件 系 统 等 所 
有 我 们 可 以 操作 的 “对象 "， 这 个 操作 对 象 也 将 从 低级 到 高 级 ， 进 而 上 升 到 网 络 层 面 ， 整 个 
通过 各 种 方式 连接 起 来 的 计算 机 的 集合 。 实 际 上 这 也 未 尝 不 是 在 摸索 UNIX 的 哲学 ， 

那 "K.|.S.S" (Keep lt Simple, Stupid) 蕴藏 的 巨大 能 量 。 


一 一 摘自 《 兰 大 开源 社区 >> 脚本 编程 >> Shell 编程 范例 》 


2008 年 4 月 底 ， 整 个 系列 大 部 分 内 容 和 框架 基本 完成 ， 后 来 由 于 实习 和 工作 原因 ， 并 没有 持 
续 完 善 。 不 过 相关 章节 却 获得 了 较 好 的 反响 ， 很 多 热心 网 友 有 大 量 评论 和 转载 ， 例 如 ， 在 百 
度 文库 转载 的 一 份 《Shell 编 程 范例 之 字符 串 操作 》 的 访问 量 已 接近 3000。 说 明 整 个 系列 还 是 
有 比较 大 的 阅读 群体 。 


现状 

考虑 到 整个 Linux 世界 的 兹 勃发 展 ，Shell 的 使 用 环境 越 来 越 多 ， 相 关 使 用 群体 会 不 断 增加 ， 
所 以 最 近 已 经 将 该 系列 重新 整理 ， 并 以 自由 书籍 的 方式 发 布 ， 以 便 惠 及 更 多 的 读者 。 

整个 系列 已 经 用 Markdown 重新 组 织 ， 并 发 布 到 了 泰 晓 科 技 |TinyLab.org。 

整理 到 TinyLab.org 的 索引 篇 是 : 《Shell 编 程 范例 之 索引 篇 》， 其 内 容 结 构 如 下 : 


e Shell 编 程 范例 之 开篇 (更 新 时 间 : 2007-07-21) 

。 Shell 编 程 范例 之 数值 运算 (更 新 时 间 : 2007-11-9) 

。 Shell 编 程 范例 之 布尔 运算 (更 新 时 间 : 2007-10-30) 
e Shell 编 程 范例 之 字符 串 操 作 (更 新 时 间 : 2007-11-21) 


。 Shell 编 程 范例 之 文件 操作 (更 新 时 间 : 2007-12-5) 

。 Shell 编 程 范例 之 文件 系统 操作 (更 新 时 间 : 2007-12-29) 
。 Shell 编 程 范例 之 进程 操作 (更 新 时 间 : 2008-02-22) 

。 Shell 编 程 范例 之 网 络 操作 (更 新 时 间 : 2008-04-19) 

。 Shell 编 程 范例 之 总 结 篇 (更 新 时 间 : 2008-07-21) 





最 近 ， 基 于 一 个 Markdown 的 开源 书籍 模版 : Gitbook， 已 经 把 该 系列 整理 成 了 自由 书籍 ， 并 
维护 在 TinyLab 的 项 目 仓 库 中 。 项 目 相关 信息 如 下 : 


e 项 目 首页 ; http://www.tinylab.org/open-shell-book/ 
e 代码 仓库 : https://github.com/tinyclub/open-shell-book.git 


计划 

后 续 除了 继续 在 泰 晓 科技 |TinyLab.org 以 Blog 形式 持续 更 新 外 ， 还 打算 重新 规划 、 增 补 整个 
系列 ， 并 以 自由 书籍 的 方式 持续 维护 ， 并 通过 TinLab.org 平台 接受 读者 的 反馈 ， 直 到 正式 发 
行 出 版 。 

欢迎 大 家 指出 本 书 初稿 中 的 不 足 ， 其 至 参与 到 相关 章节 的 写作 、 校 订 和 完善 中 来 。 

如 果 有 时 间 和 兴趣 ， 欢 迎 参与 。 可 以 通过 泰 晓 科技 联系 我 们 ， 或 者 直接 关注 微 博 @ 泰 晓 科 技 
并 私信 我 们 。 


。 调试 方法 介绍 
@ 小 结 


到 
Qi 


到 最 后 一 节 来 写 " 开 篇 "， 确 实 有 点 古怪 。 不 过 ， 在 第 一 篇 (数值 操作 ) 的 开头 实际 上 也 算是 一 
个 小 的 开篇 ， 那 里 提 到 整个 系列 的 前 提 是 需要 有 一 定 的 Shell 编程 基础 ， 因 此 ， 为 了 能 够 让 没 
有 Shell 编程 基础 的 读者 也 可 以 阅读 这 个 系列 ， 我 到 最 后 来 重 写 这 个 开篇 。 开 篇 主要 介绍 什么 
是 Shell，Shell 运行 环境 ，Shell 基本 语法 和 调试 技巧 。 


什么 是 Shell 


首先 让 我 们 从 下 图 看 看 Shell 在 整个 操作 系统 中 所 处 的 位 置 吧 ， 该 图 的 外 圆 描述 了 整个 操作 系 
统 (比如 pebian/Ubuntu/slackware 等 ) ， 内 圆 描述 了 操作 系统 的 核心 (比如 Linux 
Kernel ) ， 而 Shell 和 GUI 一 样 作为 用 户 和 操作 系统 之 间 的 接口 。 

-SHEEL. 
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GUI 提供 了 一 种 图 形 化 的 用 户 接口 ， 使 用 起 来 非常 简便 易学 ; 而 shell 则 为 用 户 提供 了 一 
种 命令 行 的 接口 ， 接 收 用 户 的 键盘 输入 ， 并 分 析 和 执行 输入 字符 串 中 的 命令 ， 然 后 给 用 户 返 
回执 行 结果 ， 使 用 起 来 可 能 会 复杂 一 些 ， 但 是 由 于 占用 的 资源 少 ， 而 且 在 操作 熟练 以 后 可 能 
会 提高 工作 效率 ， 而 且 具 有 批 处 理 的 功能 ， 因 此 在 某 些 应 用 场合 还 非常 流行 。 


shell 作为 一 种 用 户 接口 ， 它 实际 上 是 一 个 能 够 解释 和 分 析 用 户 键盘 输入 ， 执 行 输入 中 的 命 
令 ， 然 后 返回 结果 的 一 个 解释 程序 (Interpreter， 例 如 在 linux 下 比较 常用 的 Bash ) ， 我 
们 可 以 通过 下 面 的 命令 查看 当前 的 ”shell 


$ echo $SHELL 

/bin/bash 

$ ls -1 /bin/bash 

-rwxr-xr-x 1 root root 702160 2008-05-13 02:33 /bin/bash 


该 解释 程序 不 仅 能 够 解释 简单 的 命令 ， 而 且 可 以 解释 一 个 具有 特定 语法 结构 的 文件 ， 这 种 文 
件 被 称 作 脚本 (Script) 。 它 具体 是 如 何 解释 这 些 命令 和 脚本 文件 的 ， 这 里 不 深入 分 析 ， 请 看 
我 在 2008 年 写 的 另外 一 篇 文章 : 《Linux 命 令 行 上 程序 执行 的 一 刹那 》。 


既然 该 程序 可 以 解释 具有 一 定语 法 结构 的 文件 ， 那 么 我 们 就 可 以 遵循 某 一 语法 来 编写 记 
有 什么 样 的 语法 ， 如 何 运行 ， 如 何 调试 呢 ? 下 面 我 们 以 Bash tn ° 


搭建 运行 环境 


为 了 方便 后 面 的 练习 ， 我 们 先 搭 建 一 个 基本 运行 环境 : 在 一 个 Linux 操作 系统 中 ， 有 一 个 运 
行 有 Bash 的 命令 行 在 等 待 我 们 键入 命令 ， 这 个 命令 行 可 以 是 图 形 界面 下 的 Terminal 【〔 例 
如 Ubuntu 下 非常 厉害 的 Terminator ) ， 也 可 以 是 字符 界面 的 console (可 以 用 
CTRL+ALT+F1~6 切换 ) ， 如 果 你 发 现 当 前 shell 不 是 Bash ， 请 用 下 面 的 方法 替换 它 : 


$ chsh $USER -s /bin/bash 
$ su $USER 


或 者 是 简单 地 键入 Bash : 


$ bash 
$ echo $SHELL # 确认 一 下 
/bin/bash 


如 果 没 有 安装 Linux 操作 系统 ， 也 可 以 考虑 使 用 一 些 公共 社区 提供 的 Linux 虚拟 实验 服务 ， 一 
般 都 有 提供 远程 shell ， 你 可 以 通过 Telnet 或 者 是 ssh 的 客户 端 登 录 上 去 进行 练习 。 


有 了 基本 的 运行 环境 ， 那 么 如 何 来 运行 用 户 键入 的 命令 或 者 是 用 户 编写 好 的 脚本 文件 呢 ? 
假设 我 们 编写 好 了 一 个 Shell 脚本 ， 叫 test.sh 。 


第 一 种 方法 是 确保 我 们 执行 的 命令 具有 可 执行 权限 ， 然 后 直接 键入 该 命令 执行 它 


$ chmod +x /path/to/test.sh 
$ /path/to/test.sh 


第 二 种 方法 是 直接 把 脚本 作为 Bash 解释 器 的 参数 传 入 : 


$ bash /path/to/test.sh 


或 


$ Source /path/to/test.sh 


或 


$ ， /path/to/test.sh 


基本 语法 介绍 


先 来 一 个 Hello, World 程序 8 


下 面 来 介绍 一 个 Shell 程序 的 基本 结构 ， 以 Hello，world 为 例 : 


#!/bin/bash -v 
# test.sh 
echo "Hello, World" 


把 上 述 代码 保存 为 test.sh ， 然 后 通过 上 面 两 种 不 同方 式 运行 ， 可 以 看 到 如 下 效果 。 
方法 一 : 
$ chmod +x test.sh 
$ ./test.sh 
./test.sh 
#!1/bin/bash -v 
echo "Hello, World" 


Hello, World 


方法 二 : 


$ bash test.sh 
Hello, World 


$ source test.sh 
Hello, World 


$ . test.sh 
Hello, World 


我 们 发 现 两 者 运行 结果 有 区 别 ， 为 什么 呢 ? 这 里 我 们 需要 关注 一 下 test.sh 文件 的 内 容 ， 它 
仅仅 有 两 行 ， 第 二 行 打印 了 Hello，world ， 两 种 方法 都 达到 了 目的 ， 但 是 第 一 种 方法 却 多 打 
印 了 脚本 文件 本 身 的 内 容 ， 为 什么 呢 ? 


原因 在 该 文件 的 第 一 行 ， 当 我 们 直接 运行 该 脚本 文件 时 ， 该 行 告诉 操作 系统 使 用 用 #! 符号 
之 后 面 的 解释 器 以 及 相应 的 参数 来 解释 该 脚本 文件 ， 通 过 分 析 第 一 行 ， 我 们 发 现 对 应 的 解释 
器 以 及 参数 是 /bin/bash -v ， 而 -v 刚好 就 是 要 打印 程序 的 源 代 码 ; 但 是 我 们 在 用 第 二 种 方 
法 时 没有 给 Bash 传递 任何 额外 的 参数 ， 因 此 ， 它 仅仅 解释 了 脚本 文件 本 身 。 


其 他 语法 细节 请 直接 看 《Shell 编 程 学 习 笔 记 》 即 本 书后 面 的 附录 一 。 


Shell 程序 设 什 过程 
Shell 语言 作为 解释 型 语言 ， 它 的 程序 设计 过 程 跟 编译 型 语言 有 些 区 别 ， 其 基本 过 程 如 下 : 


e@ 设计 算法 
。 用 Shell 编写 脚本 程序 实现 算法 
。 直接 运行 脚本 程序 


可 见 它 没有 编译 型 语言 的 "麻烦 的 "编译 和 链接 过 程 ， 不 过 正 是 因为 这 样 ， 它 出 错时 调试 起 来 不 
是 很 方便 ， 因 为 语法 错误 和 逻辑 错误 都 在 运行 时 出 现 。 下 面 我 们 简单 介绍 一 下 调试 方法 。 


调试 方法 介绍 


可 以 直接 参考 资料 : Shell 脚本 调试 技术 或 者 BASH 的 调试 手段 。 


Shell 语言 作为 一 门 解 释 型 语言 ， 可 以 使 用 大 量 的 现 有 工具 ， 包 括 数值 计算 、 符 号 处 理 、 文 件 
操作 、 网 络 操作 等 ， 因 此 ， 编 写 过 程 可 能 更 加 高 效 ， 但 是 因为 它 是 解释 型 的 ， 需 要 在 执行 过 
程 中 从 磁盘 上 不 断 调用 外 部 的 程序 并 进行 进程 之 间 的 切换 ， 在 运行 效率 方面 可 能 有 劣势 ， 所 
以 我 们 应 该 根据 应 用 场合 选择 使 用 Shell 或 是 用 其 他 的 语言 来 编程 。 


准备 工作 


参考 资料 


e。 Linux 命 令 行 上 程序 执行 的 一 刹那 
。 Linux Shell 编 程 学 习 笔 记 

Shell 脚本 调试 技术 

BASH 的 调试 手段 


13 


A “= cA 
数值 运算 

e 前 言 

e 整数 运算 
o 范例 : 对 某 个 数 加 1 
o 范例 : 从 1 加 到 某 个 数 
o 范例 : 求 模 
o 范例 : 求 紧 
o 范例 : 进 制 转换 


io 让 


: ascii 字符 编码 


3 
T 
: 
< 


® 
a 
uy 
六 
浪 


O 


范例 : 求 1 除 以 13， 保 留 3 位 有 效 数 字 
o 范例 : 余弦 值 转角 度 
o 范例 : 有 一 组 数据 ， 求 人 均 月 收入 最 高 家 庭 
e 随机 数 
o 范例 : 获取 一 个 随机 数 
o 范例 : 随机 产生 一 个 从 0 到 255 之 间 的 数字 
其 他 运算 
o 范例 : 获取 一 系列 数 
o 范例 : 统计 字符 串 中 各 单词 出 现 次 数 
范例 : 统计 指定 单词 出 现 次 数 





有 囊 号 
从 本 文 开始 ， 打 算 结合 平时 积累 和 进一步 实践 ， 通 过 一 些 范例 来 介绍 Shell 编 程 。 因 为 范例 往 
往 能 够 给 人 以 学 有 所 用 的 感觉 ， 而 且 给 人 以 动手 实践 的 机 会 ， 从 而 激发 人 的 学 习 热 情 。 


考虑 到 易 读 性 ， 这 些 范例 将 非常 简单 ， 但 是 实用 ， 项 望 它们 能 够 成 为 我 们 解决 日 常 问题 的 参 
照 物 或 者 是 “茶余饭后 "的 小 点 心 ， 当 然 这 些 "点 心 " 肯 定 还 有 值得 探讨 、 优 化 的 地 方 。 


更 复杂 有 趣 的 例子 请 参考 Advanced Bash-Scripting Guide (一 本 深入 学 习 Shell 脚本 艺术 的 书 
籍 )。 


该 系列 概要 : 
。 目的 : 享受 用 Shell 解决 问题 的 乐趣 ; 和 朋友 们 一 起 交流 和 探讨 。 


计划 : 先 零散 地 写 些 东西 ， 之 后 再 不 断 补充 ， 最 后 整理 成 册 。 

。 读者 : 熟悉 Linux 基本 知识 ， 如 文件 系统 结构 、 常 用 命令 行 工具 、Shell 编程 基础 等 。 
e。 建议 : 看 范例 时 ， 可 参考 《Shell 基 础 十 二 篇 》 和 《Shell 十 三 问 》。 

环境 : 如 没 特别 说 明 ， 该 系列 使 用 的 Shell 将 特 指 Bash， 版 本 在 3.1.17 以 上 。 

说 明 : 该 系列 不 是 依据 Shell 语法 组 织 ， 而 是 面向 某 些 潜在 的 操作 对 象 和 操作 本 身 ， 它 们 
反应 了 现实 应 用 。 当 然 ， 在 这 个 过 程 中 肯定 会 涉及 到 Shell 的 语法 。 


这 一 篇 打算 讨论 一 下 Shell 编程 中 的 基本 数值 运算 ， 这 类 运算 包括 : 


。 数值 (包括 整数 和 浮 点 数 ) 间 的 加 、 减 、 来 、 除 、 求 固 、 求 模 等 

。 产生 指定 范围 的 随机 数 

。 产生 指定 范围 的 数列 

Shell 本 身 可 以 做 整数 运算 ， 复 杂 一 些 的 运算 要 通过 外 部 命令 实现 ， 比 如 expr ， bc ， awk 
等 。 另 外 ， 可 通过 RANDOM 环境 变量 产生 一 个 从 0 到 32767 的 随机 数 ， 一 些 外 部 工具 ， 比 如 
awk 可 以 通过 rand() 函数 产生 随机 数 。 而 seq 命令 可 以 用 来 产生 一 个 数列 。 下 面 对 它 们 
分 别 进行 介绍 。 


整数 运算 


范例 : 对 某 个 数 加 1 


i=0; 
((i++)) 


echo $i 


PH 


$ let i++ 
$ echo $i 
expr $i + 1 


echo $i 


$ echo $i 1 | awk '{printf $1+$2}' 


说 明 : expr 之 后 的 $i ，+ ，1 之 间 有 空格 分 开 。 如 果 进 行 乘法 运算 ， 需 要 对 运算 符 进行 
转 义 ， 否 则 Shell 会 把 乘 号 解释 为 通配符 ， 导 致 语法 错误 ; awk 后 面 的 $1 和 $2 分 别 指 
$i 和 1， 即 从 左 往 右 的 第 1 个 和 第 2 个 数 。 


用 Shell 的 内 置 命令 查看 各 个 命令 的 类 型 如 下 : 


$ type type 

type is a shell builtin 

$ type let 

let is a shell builtin 

$ type expr 

expr is hashed (/usr/bin/expr) 
$ type bc 

bc is hashed (/usr/bin/bc) 

$ type awk 

awk is /usr/bin/awk 


从 上 述 演示 可 看 出 : let 是 Shell 内 置 命令 ， 其 他 几 个 是 外 部 命令 ， 都 在 /usr/bin 目录 
下 。 而 expr 和 bc 因为 刚 用 过 ， 已 经 加 载 在 内 存 的 hash 表 中 。 这 将 有 利于 我 们 理解 在 上 
一 章 介 绍 的 脚本 多 种 执行 方法 背后 的 原理 。 


说 明 : 如 果 要 查看 不 同 命令 的 帮助 ， 对 于 let 和 type 等 Shell 置 命令 ， 可 以 通过 Shell 
的 一 个 内 置 命令 help 来 查看 相关 帮助 ， 而 一 些 外 部 命令 可 以 通过 Shell AR 
man 来 查看 帮助 ， 用 法 诸如 help let ， man expr 等 。 


范例 : 从 1 加 到 茶 个 数 
#!/bin/bash 

# calc.sh 

i=0; 


while [ $i -lt 10000 ] 
do 


((i++)) 
done 
echo $i 


说 明 : 这 里 通过 while [ 条 件 表 达 式 ]; do .... done 循环 来 实现 。 -1t 是 小 于 号 < ， 具 体 
见 test 命令 的 用 法 : man test ° 
如 何 执行 该 脚本 ? 


办 法 一 : 直接 把 脚本 文件 当成 子 Shell (Bash) 的 一 个 参数 传 入 


$ bash calc,sh 
$ type bash 
bash is hashed (/bin/bash) 


办 法 二 : 是 通过 bash 的 内 置 命令 .或 source 执行 


$ . ./calc.sh 


滩 


$ source ./calc.sh 

$ type . 

， is a shell builtin 

$ type source 

source is a shell builtin 


办 法 三 : 是 修改 文件 为 可 执行 ， 直 接 在 当前 Shell 下 执行 


$ chmod ./calc.sh 
$ ./calc.sh 


下 面 ， 逐 一 演示 用 其 他 方法 计算 变量 加 一 ， 即 把 ((i++)) 行 替换 成 下 面 的 某 一 个 : 
Jet 工 ++ 
i=$(expr $i + 1) 
i=$(echo $i+1|bc) 


i=$(echo "$i 1" | awk '{printf $1+$2;}') 


比较 计算 时 间 如 下 : 


$ time calc.sh 
10000 


real Om1.319s 
user Om1.056s 


sys om0 .036s 
$ time calc_ let.sh 
10000 


real Om1.426s 
user Om1.176s 


Sys Om0 .032s 
$ time calc_expr.sh 
1000 


real Om27 .425S 
user Om5 .060s 


sys Om14.177s 
$ time calc bc.sh 
1000 


real Om56.576sS 
user Om9.353s 


SYS Om24.618s 
$ time ./calc_ awk.sh 
100 


real Om11.672s 
user Om2.604s 
sys Om2.660s 


说 明 : time 命令 可 以 用 来 统计 命令 执行 时 间 ， 这 部 分 时 间 包 括 总 的 运行 时 间 ， 用 户 空间 执 
行 时 间 ， 内 核 空 间 执 行 时 间 ， 它 通过 ptrace 系统 调用 实现 。 


通过 上 述 比 较 可 以 发 现 (()) 的 运算 效率 最 高 。 而 let 作为 Shell 内 置 命令 ， 效 率 也 很 高 ， 
但 是 expr ， bc ， awk 的 计算 效率 就 比较 低 。 所 以 ， 在 Shell 本 身 能 够 完成 相 关 工 作 的 情 
况 下 ， 建 议 优先 使 用 Shell 本 身 提供 的 功能 。 但 是 Shell 本 身 无 法 完成 的 功能 ， 比 如 浮 点 运 

算 ， 所 以 就 需要 外 部 命令 的 帮助 。 另 外 ， 考 虑 到 Shell 脚本 的 可 移植 性 ， 在 性 能 不 是 很 关键 的 
情况 下 ， 不 要 使 用 某 些 Shell 特有 的 语法 。 


ie ? Eexpl ? Ehe 都 可 以 用 来 求 模 ， 运 算 符 都 是 %， 而 let 和 bc 可 以 用 来 求 辕 ， 运 算 
符 不 一 样 ， 前 者 是 ** ， 后 者 是 、 。 例 如 : 


范例 : 求 模 


2d 


expr 5 % 2 


Jet i=5%2 
$ echo $1 


Bd 


Bd 


echo 5%2 | bc 


Bd 


( (i=5%2)) 
$ echo $1 


范例 : 求知 


Pulte l=S 2 
$ echo $1 
25 


$ ((i=5**2)) 
$ echo $1 


25 


$ echo "5^2" | bc 
25 


范例 : 进 制 转换 


进 制 转换 也 是 比较 常用 的 操作 ， 可 以 用 Bash 的 内 置 支持 也 可 以 用 bc 来 完成 ， 例 如 把 8 进 
制 的 11 转换 为 10 进 制 ， 则 可 以 : 


$ echo "obase=10;ibase=8;11" | bc -1 
9 


$ echo $((8#11)) 
9 


上 面 都 是 把 某 个 进 制 的 数 转换 为 10 进 制 的 ， 如 果 要 进行 任意 进 制 之 间 的 转换 还 是 bc 比较 
灵活 ， 因 为 它 可 以 直接 用 ibase 和 obase 分 别 指定 进 制 源 和 进 制 转换 目标 。 
范例 : ascii 字符 编码 


如 果 要 把 某 些 字符 串 以 特定 的 进 制 表示 ， 可 以 用 od 命令 ， 例 如 默认 的 分 隔 符 IFS 包括 空 
格 、 TAB 以 及 换行 ， 可 以 用 man ascii 佐证 。 


$ echo -n "$IFS" | od -c 
0000000 t n 
0000003 

$ echo -n "$IFS" | od -b 
0000000 040 011 012 
0000003 


let 和 expr 都 无 法 进行 浮 点 运算 ， 但 是 be 和 awk 可 以 。 
范例 : 求 1 除 以 13， 保 留 3 位 有 效 数字 


$ echo "scale=3; 1/13" | bc 
.076 


$ echo "1 13" | awk '{printf("%0.3f\n",$1/$2)}' 
0.077 


说 明 : bc 在 进行 浮 点 运算 时 需 指 定 精度 ， 否 则 默认 为 0， 即 进行 浮 点 运算 时 ， 默 认 结果 只 
保留 整数 。 而 awk 在 控制 小 数位 数 时 非常 灵活 ， 仅 仅 通过 printf 的 格式 控制 就 可 以 实 
现 。 


补充 : 在 用 bc 进行 运算 时 ， 如 果 不 用 scale 指定 精度 ， 而 在 bc 后 加 上 -1 选项 ， 也 可 


以 进行 浮 点 运算 ， 只 不 过 这 时 的 默认 精度 是 20 位 。 例 如 : 


$ echo 1/13100 | bc -1 
.00007633587786259541 


范例 : 余弦 值 转角 度 


用 bc -1 计算 ， 可 以 获得 高 精度 : 


$ export cos=0.996293; echo "Scale=100; a(sqrt(1-$cos^2)/$cos)*180/(a(1)*4)" | bc -1 
4.934954755411383632719834036931840605159706398655243875372764917732 
5495504159766011527078286004072131 


当然 也 可 以 用 awk 来 计算 : 


$ echo 0.996293 | awk '{ printf("%s\n", atan2(sqrt(1-$1^2),$1)*180/3.1415926535);}" 
4.93495 


范例 : 有 一 组 数据 ， 求 人 均 月 收入 最 高 家 庭 
在 这 里 随机 产生 了 一 组 测试 数据 ， 文 件 名 为 income.txt 。 


4490 
3896 
3112 
4716 
4578 
5399 
5089 
3029 
6195 
10 5 5145 


© ODDNDPp 
EA 


说 明 : 上 面 的 三 列 数据 分 别 是 家 庭 编 


号 、 家 
分 析 : 为 了 求 月 均 收入 最 高 家 庭 ， 需 要 对 后 面 两 
收入 ， 然 后 按照 月 均 收入 排序 ， 找 出 收入 最 高 家 庭 。 


实现 : 


#!/bin/bash 
# gettopfamily.sh 


[ $# -lt 1 ] && echo "please input the income file" && exit -1 
[ ! -f $1 ] && echo "$1 is not a file" && exit -1 


income=$1 
awk '{ 

printf("%d %0.2f\n", $1, $3/$2); 
}' $income | sort -k 2 -n -r 


说 明 : 


。 [S# -lt 1] :要 求 至 少 输入 一 个 参数 ，S# 是 Shell 中 传 入 参数 的 个 数 

e。 [1!-f $1] :要 求 输入 参数 是 一 个 文件 ，-f 的 用 法 见 test 命令 ， man test 

。 income=$1 : 把 输入 参数 赋 给 income 变量 ， 再 作为 awk 的 参数 ， 即 需 处 理 的 文件 

。 awk : 用 文件 第 三 列 除 以 第 二 列 ， 求 出 月 均 收入 ， 考 虑 到 精确 性 ， 保 留 了 两 位 精度 

e。 sort -k 2 -n -r :这 里 对 结果 的 awk 结果 的 第 二 列 -k 2 ， 即 月 均 收 入 进行 排序 ， 按 
照 数 字 排 序 -mn ， 并 按照 递减 的 顺序 排序 -r 。 


$ ./gettopfamily.sh income.txt 
7 1696.33 
9 1548.75 
1 1496.67 
4 1179.00 
5 1144.50 
10 1029.00 
6 899.83 

2 779.20 

3 778.00 

8 504.83 


补充 : 之 前 的 income.txt 数据 是 随机 产生 的 。 在 做 一 些 实验 时 ， 往 往 需要 随机 产生 一 些 数 
据 ， 在 下 一 小 节 ， 我 们 将 详细 介绍 它 。 这 里 是 产生 income.txt 数据 的 脚本 : 


#!/bin/bash 
# genrandomdata.sh 


for i In $(seq 1 10) 
do 


echo $i $(($RANDOM/8192+3)) $( (RANDOM/10+3000)) 
done 


说 明 : 上 述 脚本 中 还 用 到 seq 命令 产生 从 1 到 10 的 一 列 数 ， 这 个 命令 的 详细 用 法 在 该 篇 最 后 一 
节 也 会 进一步 介绍 。 


随机 数 


环境 变量 RANDOM 产生 从 0 到 32767 的 随机 数 ， 而 awk 的 rand() 远 数 可 以 产生 0 到 1 之 
间 的 随机 数 。 


学 例 : 获取 一 个 随机 数 


$ echo $RANDOM 
81 


$ echo "" | awk '{srand(); printf("%f", rand());}' 
0.237788 


说 明 : srand() 在 无 参数 时 ， 采 用 当前 时 间作 为 rand() 随机 数 产 生 器 的 一 个 seed 。 


范例 : 随机 产生 一 个 从 0 到 255 之 间 的 数字 


可 以 通过 RANDOM 变量 的 缩放 和 awk 中 rand() 的 放大 来 实现 。 


$ expr $RANDOM / 128 


$ echo "" | awk '{srand(); printf("%d\n", rand()*255);}' 


思考 : 如 果 要 随机 产生 某 个 IP 段 的 IP 地址， 该 如 何 做 呢 ? 看 例子 : 友善 地 获取 一 个 可 用 的 
IP 地 址 。 


#!/bin/bash 

# getip.sh -- get an usable ipaddress automatically 
# author: falcon &]t;zhangjinw@gmail .com> 

# update: Tue Oct 30 23:46:17 CST 2007 


# set your own network, default gateway, and the time out of "ping" command 
net="192.168.1" 

default_gateway="192.168.1.1" 

over_time=2 


# check the current ipaddress 
ping -c 1 $default gateway -W $over_time 
[ $? -eq © ] && echo "the current ipaddress is okey!" && exit -1; 


while :; do 
# clear the current configuration 
ifconfig etho down 
# configure the ip address of the ethgo 
ifconfig etho \ 
$net.$(($RANDOM /130 +2)) \ 
UP 
# configure the default gateway 
route add default gw $default_gateway 
# check the new configuration 
ping -c 1 $default_ gateway -W $over_time 
# if work, finish 
[ $? -eq © ] && break 
done 


说 明 : 如 果 你 的 默认 网 关 地 址 不 是 192.168.1.1 ， 请 自行 配置 default gateway (可 以 用 
route -n 命令 查看 ) ， 因 为 用 ifconfig 配置 地 址 时 不 能 配置 为 网 关 地 址 ， 和 否则 你 的 |P 地 址 


其 他 运算 


其 实 通过 一 个 循环 就 可 以 产生 一 系列 数 ， 但 是 有 相关 工具 为 什么 不 用 呢 ! seq 就 是 这 么 一 个 
小 工具 ， 它 可 以 产生 一 系列 数 ， 你 可 以 指定 数 的 递增 间隔 ， 也 可 以 指定 相 邻 两 个 数 之 间 的 分 
割 符 。 


学 例 : 获取 一 系列 数 


seq 5 


seqg 15 


Seq 2 


SC 2 
SS 
seq 1 2 14 


ONOWWP 人 HPPHWP 人 HVONP 人 HWP 


13 

$ seq -w 1 2 14 

01 

03 

05 

07 

09 

ll 

13 

$ seq -S: -w 1 2 14 
01:03:05:07:09:11:13 
$ seq -f "Ox%g" 1 5 
Ox1 


一 个 比较 典型 的 使 用 seq 的 例子 ， 构 造 一 些 特定 格式 的 链接 ， 然 后 用 wget 下 载 这 些 内 


容 : 


$ for i in ‘seq -f"http://thns.tsinghua.edu.cn/thnsebooks/ebook73/%02g.pdf" 1 21 ;do w 
get -c $i; done 


或 者 


$ for i in ‘seq -w 1 21 ;do wget -c "http://thns.tsinghua.edu.cn/thnsebooks/ebook73/$i 


"; done 


补充 : 在 Bash 版 本 3 以 上 ， 在 for 循环 的 in 后 面 ， 可 以 直接 通过 {1..5} 更 简洁 地 产 
生 自 1 到 5 的 数字 (注意 ，1 和 5 之 间 只 有 两 个 点 ) ， 例 如 : 


$ for i in {1..5}; do echo -n "$i "; done 
dl 2 el 


范例 : 统计 字符 事 中 各 单词 出 现 次 数 
我 们 先 给 单词 一 个 定义 : 由 字母 组 成 的 单个 或 者 多 个 字符 系列 。 


首先 ， 统 计 每 个 单词 出 现 的 次 数 : 


$ wget -c http://tinylab.org 
$ cat index.html | sed -e "s/[^a-zA-Z]/\n/g" | grep -v ^$ | sort | uniq -c 


接着 ， 统 计 出 现 频率 最 高 的 前 10 个 单词 : 


$ wget -c http://tinylab.org 
$ cat index.html | sed -e "s/[^a-zA-Z]/\n/g" | grep -v ^$ | sort | uniq -c | sort -n - 
ki1i-r | head -10 

524 a 

238 tag 

205 href 

201 class 

193 http 

189 org 

175 tinylab 

174 www 

146 div 

128 title 


说 明 : 


cat index.html : 输出 index.html 文件 里 的 内 容 

sed -e "s/[^a-zA-Z]/\n/g" : 把 非 字 母 字 符 替换 成 空 格 ， 只 保留 字母 字符 
grep -v A^$ : 去 掉 空 行 

sort : 排序 

uniq -Cc : 统计 相同 行 的 个 数 ， 即 每 个 单词 的 个 数 

sort -n -k 1 -r :按照 第 一 列 -k 1 的 数字 -n 逆序 -r 排序 

head -10 : 取出 前 十 行 


范例 : 统计 指定 单词 出 现 次 数 


可 以 考虑 采取 两 种 办 法 : 


不 过 


#1 
# 


只 统计 那些 需要 统计 的 单词 
用 上 面 的 莫 法 把 所 有 单词 的 个 数 都 统计 出 来 ， 然 后 再 返回 那些 需要 统计 的 单词 给 用 户 


， 这 两 种 办 法 都 可 以 通过 下 面 的 结构 来 实现 。 先 看 办 法 一 : 


/bin/bash 
statistic words.sh 


if [ $# -lt 1 ]; then 


fi 


echo "Usage: basename $0 FILE WORDS ...." 
exit -1 


FILE=$1 
( (WORDS_NUM=$#-1)) 


for n in $(seq $WORDS_NUM) 


do 
shift 
cat $FILE | sed -e "s/[^a-zA-Z]/\n/g" \ 
| grep -v ^$ | sort | grep ^$1$ | uniq -c 
done 
说 明 


if 条 件 部 分 : 要 求 至 少 两 个 参数 ， 第 一 个 单词 文件 ， 之 后 参数 为 要 统计 的 单词 
FILE=$1 : 获取 文件 名 ， 即 脚本 之 后 的 第 一 个 字符 串 

( (WORDS_NUM=$#-1)) : 获取 单词 个 数 ， 即 总 的 参数 个 数 $# 减 去 文件 名 参数 〈1 个 ) 
for 循环 部 分 ; 首先 通过 seq 产生 需要 统计 的 单词 个 数 系列 ， shift 是 Shell 内 置 变量 
(请 通过 help shift 获取 帮助 )， 它 把 用 户 从 命令 行 中 传 入 的 参数 依次 往 后 移动 位 置 ， 
并 把 当前 参数 作为 第 一 个 参数 即 $1 ， 这 样 通过 $1 就 可 以 遍历 用 户 所 有 输入 的 单词 
(仔细 一 想 ， 这 里 貌似 有 数组 下 标的 味道 ) 。 你 可 以 考虑 把 shift 之 后 的 那 句 蔡 换 成 
echo $1 测试 shift 的 用 法 


a 


$ chmod +x statistic words.sh 
$ ./statistic words.sh index.html tinylab linux python 
175 tinylab 
43 linux 
3 python 


再 看 办 法 二 ， 我 们 只 需要 修改 shift 之 后 的 那 甸 即 可 : 


#!/bin/bash 
# statistic words.sh 


if [ $# -lt 1 ]; then 
echo "ERROR: you should input 2 words at least",; 
echo "Usage: basename $0 FILE WORDS ...." 
exit -1 

fi 


FILE=$1 
( (WORDS_NUM=$#-1)) 


for n in $(seq $WORDS_NUM) 
do 
shift 
cat $FILE | sed -e "s/[^a-zA-Z]/\n/g" \ 
| grep -v ^$ | sort | uniq -c | grep " $1$" 
done 


py 


$ ./statistic words.sh index.html tinylab linux python 
175 tinylab 
43 linux 
3 python 


说 明 : 很 明显 ， 办 法 一 的 效率 要 高 很 多 ， 因 为 它 提 前 找 出 了 需要 统计 的 单词 ， 然 后 再 统计 ， 
而 后 者 则 不 然 。 实 际 上 ， 如 果 使 用 grep 的 -E 选项 ， 我 们 无 须 引 入 循环 ， 而 用 一 条 命令 就 
可 以 搞定 : 


$ cat index,html | sed -e "s/[^a-zA-Z]/\n/g" | grep -v ^$ | sort | grep -E "^tinylab$| 
^linux$" | uniq -c 

43 linux 

175 tinylab 


或 者 


$ cat index.html | sed -e "s/[^a-zA-Z]/\n/g" | grep -v ^$ | sort | egrep "^tinylab$|^ 
linux$" | uniq -c 

43 linux 

175 tinylab 


说 明 : 需要 注意 到 sed 命令 可 以 直接 处 理 文件 ， 而 无 需 通 过 cat 命令 输出 以 后 再 通过 管道 
传递 ， 这 样 可 以 减少 一 个 不 必要 的 管道 操作 ， 所 以 上 述 命令 可 以 简化 为 : 


$ sed -e "s/[^a-zA-Z]/\n/g" index.html | grep -v ^$ | sort | egrep "^tinylab$|^linux$ 
" | uniq -c 

43 linux 

175 tinylab 


所 以 ， 可 见 这 些 命令 sed ，grep ，uniq ， sort 是 多 么 有 用 ， 它 们 本 身 虽 然 只 完成 简单 的 
功能 ， 但 是 通过 一 定 的 组 合 ， 就 可 以 实现 各 种 五 花 八 门 的 事情 啦 。 对 了 ， 统 计 单词 还 有 个 非 
常 有 用 的 命令 wc -w ， 需 要 用 到 的 时 候 也 可 以 用 它 。 


补充 : 在 Advanced Bash-Scripting Guide 一 书 中 还 提 到 jot 命令 和 factor 命令 ， 由 于 机 
器 上 没有 ， 所 以 没有 测试 ， factor 命令 可 以 产生 某 个 数 的 所 有 素数 。 如 : 


$ factor 100 
100:1 2255 


到 这 里 ，Shell 编程 范例 之 数值 计算 就 结束 啦 。 该 篇 主要 介绍 了 


。 Shell 编程 中 的 整数 运算 、 浮 点 运算 、 随 机 数 的 产生 、 数 列 的 产生 

。 Shell 的 内 置 命令 、 外 部 命令 的 区 别 ， 以 及 如 何 查看 他 们 的 类 型 和 帮助 

。 Shell 脚本 的 几 种 执行 办 法 

e 几 个 常用 的 Shell 外 部 命令 : sed ，awk ，grep ，uniq ， sort 等 

e 范例 : 数字 递增 ; 求 月 均 收 入 ; 自动 获取 IP 地 址 ; 统计 单词 个 数 

e@ 其 他 : 相关 用 法 如 命令 列表 ， 条 件 测 试 等 在 上 述 范例 中 都 已 涉及 ， 请 认真 阅读 之 


如 果 您 有 时 间 ， 请 温习 之 。 


e。 Advanced Bash-Scripting Guide 
e shell 十 三 问 
e shell 基础 十 二 


。 SED 手册 

。 AWK 使 用 手册 

。 几 个 Shell 讨论 区 
o LinuxSir.org 
o ChinaUnix.net 


司 1 记 

大 概 花 了 3 个 多 小 时 才 写 完 ， 目 前 是 23:33， 该 回 和 宿舍 睡觉 啦 ， 明 天 起 来 修改 错别字 和 补充 一 
些 内 容 ， 朋 友 们 晚安 ! 

10 月 31 号 ， 修 改 部 分 措 锌 ， 增 加 一 篇 统计 家 庭 月 均 收 入 的 范例 ， 添 加 总 结 和 参考 资料 ， 并 
用 附录 所 有 代码 。 

Shell 编程 是 一 件 非常 有 趣 的 事情 ， 如 果 您 想 一 想 : 上 面 计 算 家 庭 月 均 收入 的 例子 ， 然 后 和 用 


M$ Excel 来 做 这 个 工作 比较 ， 你 会 发 现 前 者 是 那么 简单 和 省 事 ， 而 且 给 您 以 运用 自如 的 感 


觉 。 


读 
2 
ey 
油 


。 前 言 
e 常规 的 布尔 运算 
o 在 Shell 下 如 何 进行 逻辑 运算 
@ 范例 : true or false 
a 范例 : 与 运算 
范例 : 或 运算 
@ 范例 : 非 运算 ， 即 取 反 
o Bash 里 头 的 true 和 false 是 我 们 通常 认为 的 1 和 0 人 么 ? 
@ 范例 : 返回 值 Vs. 逻辑 值 
@ 范例 : 查看 true 和 false 帮助 和 类 型 
e@ 条 件 测试 
o 条 件 测 试 基本 使 用 
四 范例 : 数值 测试 
@ 范例 : 字符 串 测试 
a 范例 : 文件 测试 
o 各 种 逻辑 测试 的 组 合 
m 范例 : 如 果 a，b，c 都 等 于 下 面 对 应 ee ， 那么 打印 YES， 通 过 -a 进行 与 测试 
@ 范例 : 测试 某 个 “东西 "是 文件 或 者 目录 ， oO 运算 
范例 : 测试 某 个 “东西 "是否 为 文件 ， a ! 非 运 算 
o 比较 -a 与 &&, -0 与 上 ，!test 与 test! 
m 范例 : 要 求 某 文 件 可 执行 且 有 内 容 ， 用 -a 和 && 分 别 实现 
m 范例 : 要 求 某 个 字符 串 要 么 为 室 ， 要 么 和 某 个 字符 串 相 等 
mm 范例: 测试 某 个 数字 不 满足 指定 的 所 有 条 件 
o 命令 列表 的 执行 规律 
范例 : 如 果 ping 通 www.lzu.edu.cn， 那 么 打印 连通 信息 
o 命令 列表 的 作用 
范例 : 在 脚本 里 判断 程序 的 参数 个 数 ， 和 参数 类 型 


上 个 礼拜 介绍 了 Shell 编 程 范例 之 数值 运算 ， 对 Shell 下 基本 数值 运算 方法 做 了 简单 的 介绍 ， 
这 周 将 一 起 探讨 布尔 运算 ， 即 如 何 操作 “ 丨 假 值 ”。 
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在 Bash 里 有 这 样 的 常量 (实际 上 是 两 个 内 置 命令 ， 在 这 里 我 们 姑且 这 么 认为 ， 后 面 将 介绍 )， 
即 true 和 false， 一 个 表示 真 ， 一 个 表示 假 。 对 它们 可 以 进行 与 、 或 、 非 运算 等 常规 的 逻辑 运 
算 ， 在 这 一 节 ， 我 们 除了 讨论 这 些 基 本 逮 辑 运算 外 ， 还 将 讨论 Shell 编 程 中 的 条 件 测试 和 命令 
列表 ， 并 介绍 它们 和 布尔 运算 的 关系 。 


常规 的 布尔 运算 
这 里 主要 介绍 Bash 里 头 常规 的 逻辑 运算 ,与 、 或 、 非 。 
在 Shell 下 如 何 进 行 逻 辑 运算 


范例 : true or false 
单独 测试 true 和 false ， 可 以 看 出 true 是 丨 值 ，false 为 假 


$ If true;then echo "YES"; else echo "NO"; fi 
YES 
$ If false;then echo "YES"; else echo "NO"; fi 
NO 


范例 : 与 运算 


$ If true && true;then echo "YES"; else echo "NO"; fi 
YES 

$ if true && false;then echo "YES"; else echo "NO"; fi 
NO 

$ If false && false;then echo "YES"; else echo "NO"; fi 
NO 

$ If false && true;then echo "YES"; else echo "NO"; fi 
NO 


范例 : 或 运算 


$ if true || true;then echo "YES"; else echo "NO"; fi 


YES 
$ if true || false;then echo "YES"; else echo "NO"; fi 
MES 
$ if false || true;then echo "YES"; else echo "NO"; fi 
MES 


$ if false || false;then echo "YES"; else echo "NO"; fi 
NO 


学 例 : 非 运算 ， 即 取 反 


$ if ! false;then echo "YES"; else echo "NO"; fi 
YES 

$ if ! true;then echo "YES"; else echo "NO"; fi 
NO 


可 以 看 出 true 和 false 按照 我 们 对 逻辑 运算 的 理解 进行 着 ， 但 是 为 了 能 够 更 好 的 理解 
Shell 对 逻辑 运算 的 实现 ， 我 们 还 得 弄 清楚 ， true 和 false 是 怎么 工作 的 ? 


Bash 里 头 的 true 和 false 是 我 们 通常 认为 的 1 和 0 人 么 ? 


回答 是 : 否 。 


范例 : 返回 值 vs. 逻辑 值 


true 和 false 它们 本 身 并 非 逻辑 值 ， 它们 都 是 Shell 的 内 置 命令 ， 只 是 它们 的 返回 值 是 一 
个 “逻辑 值 ”: 


true 
echo $? 


false 
echo $? 


可 以 看 到 true 返回 了 0， 而 false 则 返回 了 1。 跟 我 们 离散 数学 里 学 的 趴 值 1 和 0 并 不 
是 对 应 的 ， 而 且 相 反 的 。 


范例 : 查看 true 和 false 帮助 和 类 型 


$ help true false 
true: true 

Return a successful result ， 
false: false 

Return an unsuccessful result. 
$ type true false 
true is a shell builtin 
false is a shell builtin 


说 明 : $? 是 一 个 特殊 变量 ， 存 放 有 上 一 次 进程 的 结束 状态 (退出 状态 码 ) 。 


从 上 面 的 操作 不 难 联 想到 在 C 语言 程序 设计 中 为 什么 会 强调 在 _ main 遂 数 前 面 加 上 int ， 
并 在 末尾 加 上 return 9 。 因 为 在 Shell 里 ， 将 把 0 作为 程序 是 否 成 功 结束 的 标志 ， 这 就 是 
Shell 里 头 true 和 false 的 实质 ， 它 们 用 以 反应 某 个 程序 是 否 正 确 结 束 ， 而 并 非 传统 的 旧 
假 值 (1 和 0) ， 相 反 地 ， 它 们 返回 的 是 0 和 1。 不 过 庆幸 地 是 ， 我 们 在 做 逻辑 运算 时 ， 无 须 


未 条 件 测 测 试 


从 上 节 中 ， 我 们 已 经 清楚 地 了 解 了 Shell 下 的 “ 逮 辑 值 ?是 什么 : 是 进程 退出 时 的 返回 值 ， 如 果 
成 功 返 回 ， 则 为 夏 ， 如 果 不 成 功 返回 ， 则 为 假 。 


而 条 件 测试 正好 使 用 了 test 这么 一 个 指令 ， 它 用 来 进行 数值 测试 (各 种 数值 属性 测试 ) 、 
字符 串 测 试 (各 种 字符 串 属 性 测试 ) 、 文 件 测 试 (各 种 文件 属性 测试 ) ， 我 们 通过 判断 对 应 
的 测试 是 否 成 功 ， 从 而 完成 各 种 常规 工作 ， 再 加 上 各 种 测试 的 逻辑 组 合 后 ， 将 可 以 完成 更 复 
杂 的 工作 。 


条 件 测 试 基本 使 用 
范例 : 数值 测试 


$ if test 5 -eq 5;then echo "YES"; else echo "NO"; fi 
ES 


$ if test 5 -ne 5;then echo "YES"; else echo "NO"; fi 
NO 


范例 : 字符 囊 测试 


$ if test -n "not empty";then echo "YES"; else echo "NO"; fi 
YES 


$ if test -z "not empty";then echo "YES"; else echo "NO"; fi 
NO 


$ if test -z "";then echo "YES"; else echo "NO"; fi 
MES 


$ If test -n "";then echo "YES"; else echo "NO"; fi 
NO 


范例 : 文件 测试 


$ if test -f /boot/System.map; then echo "YES"; else echo "NO"; fi 
YES 
$ if test -d /boot/System.map; then echo "YES"; else echo "NO"; fi 
NO 


各 种 逻辑 测试 的 组 合 


范例 : 如 果 a，b，c 都 等 于 下 面 对 应 的 值 ， 那么 打印 YES， 通 
过 -a 进行 "与 "测试 


$ a=5;b=4;c=6; 
$ if test $a -eq 5 -a $b -eq 4 -a $c -eq 6; then echo "YES"; else echo "NO"; fi 
MES 


范例 : 测试 某 个 “东西 ”是 文件 或 者 目录 ， 通 过 -0 进行 “或 ”运算 


$ if test -f /etc/profile -o -d /etc/profile;then echo "YES"; else echo "NO"; fi 
YES 


范例 : 测试 某 个 “东西 "是否 为 文件 ， 测 试 ! 非 运 算 


$ if test ! -f /etc/profile; then echo "YES"; else echo "NO"; fi 
NO 


上 面 仅仅 演示 了 test 命令 一 些 非常 简单 的 测试 ， 你 可 以 通过 help test 获取 test 的 更 
多 用 法 。 需 要 注意 的 是 ， test 命令 内 部 的 逻辑 运算 和 Shell 的 逻辑 运算 符 有 一 些 区 别 ， 对 应 
的 为 -a 和 && ，-o 与 || ， 这 两 者 不 能 混淆 使 用 。 而 非 运算 都 是 ! ， 下 面 对 它 们 进行 
比较 。 


比较 -a 与 &&, -0 与 上，! test 与 test ! 


范例 : 要 求 某 文件 可 执行 且 有 内 容 ， 用 -a 和 && 分 别 实现 


$ cat > test.sh 

#!/bin/bash 

echo "test" 

[CTRL+D] # 按 下 组 合 键 CTRL 与 D 结 束 cat 输 入 ， 后 同 ， 不 再 注 明 

$ chmod +x test.sh 

$ If test -s test.sh -a -x test.sh; then echo "YES",; else echo "NO"; fi 

YES 

$ If test -s test.sh && test -x test.sh; then echo "YES"; else echo "NO"; fi 
YES 


范例 : 要 求 茶 个 字符 串 要 么 为 室 ， 要 么 和 某 个 字符 串 相 等 


$ stri="test" 
$ str2="test" 


qf teste lz $str2 So ‘$str2 = 三 中 St then ecno "YES > elseecho NO Tf 

MES 

$ if test -z "$str2" || test "$str2" == "$str1i"; then echo "YES"; else echo "NO"; fi 
YES 


范例 : 测试 某 个 数字 不 满足 指定 的 所 有 条 件 


$ i=5 

$ if test ! $i -]t 5 -a $i -ne 6; then echo "YES"; else echo "NO"; fi 
YES 

$ if ! test $i -lt 5 -a $i -eq 6; then echo "YES"; else echo "NO"; fi 
MES 


很 容易 找 出 它们 的 区 别 ，-a 和 -o 作为 测试 命令 的 参数 用 在 测试 命令 的 内 部 ， 而 && 和 
1| 则 用 来 运算 测试 的 返回 值 ，! 为 两 者 通用 。 需 要 关注 的 是 : 


e。 有 了 时 可 以 不 用 ! 运算 符 ， 比 如 -eq 和 -ne 刚好 相反 ， 可 用 于 测试 两 个 数值 是 否 相 
等 ; -z 与 -n 也 是 对 应 的 ， 用 来 测试 某 个 字符 串 是 否 为 空 

e 在 Bash 里 ，test 命令 可 以 用 [] 运算 符 取 代 ， 但 是 需要 注意 ，[ 之 后 与 ] 之 前 需要 加 上 
额外 的 空格 

。 在 测试 字符 串 时 ， 所 有 变量 建议 用 双 引 号 包含 起 来 ， 以 防止 变量 内 容 为 空 时 出 现 仅 有 测 
试 参数 ， 没 有 测试 内 容 的 情况 


下 面 我 们 用 实例 来 演示 上 面 三 个 注意 事项 : 


e -ne 和 -eq 对 应 的 ， 我 们 有 时 候 可 以 免 去 ! 运算 


$ i=5 
$ if test $i -eq 5; then echo "YES"; else echo "NO"; fi 


YES 

$ if test $i -ne 5; then echo "YES"; else echo "NO"; fi 
NO 

$ if test ! $i -eq 5; then echo "YES"; else echo "NO"; fi 
NO 


e 用 [ ] 可 以 取代 test ， 这 样 看 上 去 会 “美观 "很 多 


$ if [ $i -eq 5 ]; then echo "YES"; else echo "NO"; fi 

YES 

$ if [ $i -gt 4 ] && [ $i -lt 6 1]; then echo "YES"; else echo "NO"; fi 
YES 


e 记得 给 一 些 字符 串 变 量 加 上 "" ， 记 得 [ 之 后 与 ] 之 前 多 加 一 个 空格 

$ str="" 
$ if [ "$str" = "test"]; then echo "YES"; else echo "NO"; fi 
-bash: [: missing ~]' 
NO 
$ if [ $str = "test" ]; then echo "YES"; else echo "NO"; fi 
-bash: [: =: unary operator expected 
NO 
$ if [ "$str"” = "test” |; then echo "YES"; else echo "NO"; fi 
NO 

到 这 里 ， 条 件 测试 就 介绍 完了 ， 下 面 介绍 命令 列表 ， 实 际 上 在 上 面 我 们 已 经 使 用 过 了 ， 即 多 


个 test 命 


令 的 组 合 ， 通 过 gg ，|| 和 ! 组 合 起 来 的 命令 序列 。 这 种 命令 序列 可 以 有 效 蔡 换 


if/then 的 条 件 分 支 结 构 。 这 不 难 想 到 我 们 在 C 语言 程序 设计 中 经 常 做 的 如 下 的 选择 题 (很 
无 聊 的 例子 ， 但 是 有 意义 ) : 下面 是 否 会 打印 j ， 如 果 打 印 ， 将 打印 什么 ? 


#include <stdio.h> 


int main() 


{ 


a ne Be 


i=5;j=1; 
if ((i==5) && (j=5)) printf("%d\n", j); 


return 0; 


很 容易 知道 将 打印 数字 5， 因 为 i==5 这 个 条 件 成 立 ， 而 且 随 后 是 && ， 要 判断 整个 条 件 是 
否 成 立 ， 我 们 得 进行 后 面 的 判断 ， 可 是 这 个 判断 并 非常 规 的 判断 ， 而 是 先 把 j 修改 为 5， 再 

转换 为 真 值 ， 所 以 条 件 为 赋 ， 打 印 出 5。 因 此 ， 这 名 可 以 解释 为 : 如 果 i 等 于 5， 那 么 把 

j 赋值 为 5， 如 果 j 大 于 1 (因为 之 前 已 经 为 夏 ) ， 那 么 打印 出 j 的 值 。 这 样 用 gg 连 

结 起 来 的 判断 语句 替代 了 两 个 if 条 件 分 支 语句 。 


正 是 基于 逻辑 运算 特有 的 性 质 ， 我 们 可 以 通过 &&g ， || 来 取代 if/then 等 条 件 分 支 结构 ， 
这 样 就 产生 了 命令 列表 。 


命令 列表 的 执行 规律 符合 逻辑 运算 的 运算 规律 ， 用 上 连接 起 来 的 命令 ， 如 果 前 者 成 功 返 
回 ， 将 执行 后 面 的 命令 ， 反 之 不 然 ; en 令 ， 如 果 前 者 成 功 返 回 ， 将 不 执行 
后 续 命令 ， 反 之 不 然 。 


范例 : 如 果 ping 通 www.lzu.edu.cn， 那 么 打印 连通 信息 


$ ping -c 1 www.lzu.edu.cn -W 1 && echo "=======connected=======" 


非常 有 趣 的 问题 出 来 了 ， 即 我 们 上 面 已 经 提 到 的 : 为 什么 要 让 程序 在 main() 函数 的 最 后 
返回 0 ?如果 不 这 样 ， 把 这 种 程序 放 入 命令 列表 会 有 什么 样 的 结果 ?你 自己 写 个 简单 的 C 程 
序 ， 然 后 放 入 命令 列表 看 看 。 


命令 列表 的 作用 


有 时 用 命令 列表 取代 if/then 等 条 件 分 支 结构 可 以 省 掉 一 些 代码 ， 而 且 使 得 程序 比较 美观 、 
易 读 ， 例 如 : 


范例 : 在 脚本 里 判断 程序 的 参数 个 数 ， 和 参数 类 型 


#!/bin/bash 


echo $# 

echo $1 

if [ $# -eq 1 ] && (echo $1 | grep '^[0-9]*$' >/dev/null);then 
echo MESS 


fi 


说 明 : 上 例 要 求 参 数 个 数 为 1 并 且 类 型 为 数字 。 


再 加 上 exit 1 ， 我 们 将 省 掉 if/then 结构 


#!/bin/bash 


echo $# 
echo $1 
! ([ $# -eq 1 |] && (echo $1 | grep '^[0-9]*$' >/dev/null)) && exit 1 


echo "YES" 


这 样 处 理 后 ， 对 程序 参数 的 判断 仅仅 需要 简单 的 一 行 代码 ， 而 且 变 得 更 美观 。 


这 一 节 介绍 了 Shell 编程 中 的 逻辑 运算 ， 条 件 测试 和 命令 列表 。 


字符 囊 操 作 


字符 串 操 作 


前 言 
。 字符 串 的 属性 

0 字符 串 的 类 型 

m 范例 : 数字 或 者 数字 组 合 

a 范例 : 字符 组 合 (小 写字 母 、 大 写字 母 、 两 者 的 组 合 ) 
m 范例 : 字母 和 数字 的 组 合 
m 范例 : 空格 或 者 Tab 键 等 

a 范例 : 匹配 邮件 地 址 

a 范例 : 匹配 URL 地 址 (以 http 链接 为 例 ) 

ma 范例 : 判断 字符 是 否 为 可 打印 字符 
o 字符 串 的 长 度 

@ 范例 : 计算 某 个 字符 囊 的 长 度 

m 范例 : 计算 某 些 指定 字符 或 者 字符 组 合 的 个 数 

a 范例 : 统计 单词 个 数 


中 


@ 


SS 
EE 


o 范例 : 在 屏幕 控制 字符 显示 位 置 、 颜 色 、 背 景 等 
o 范例 : 人 个 位 置 动态 显示 当前 系统 时 间 
o 范例 : 过 滤 掉 某 些 控制 字符 串 
。 字符 串 的 存储 
o 范例 : 把 字符 串 拆 分 成 字符 串 数 组 
。 字符 串 常 规 操 作 
o 取 子 串 
@ 范例 : 按照 位 置 取 子 串 
@ 范例 : 匹配 字符 求 子 串 
o 查询 子 串 
m 范例 : 查询 子 串 在 目标 串 中 的 位 置 
昌 范例 : 查询 子囊 ， 返 回 包含 子 串 的 行 
o 子 串 替换 
@ 范例 : 把 变量 var 中 的 空格 替换 成 下 划 线 
o 插入 子囊 
@ 范例 : 在 var 字符 串 的 空格 之 前 或 之 后 插入 一 个 下 划 线 
o 删除 子囊 
@ 范例 :; 把 var 字符 串 中 所 有 的 空格 给 删除 掉 。 
o 子 串 比较 
o 子 串 排序 
o 子 串 进 制 转 换 
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o 子 串 编码 转换 
。 字符 串 操 作 进 阶 
o 正则 表达 式 
@ 范例 : 处 理 URL 地 址 
范例 : 匹配 某 个 文件 中 的 特定 范围 的 行 
o 处 理 格式 化 的 文本 
@ 范例 : 选取 指定 列 
@ 范例 : 文件 关联 操作 





忙活 了 一 个 礼拜 ， 终 于 等 到 周末 ， 可 以 空 下 来 写 点 东西 。 


之 前 已 经 完成 《数值 运算 》 和 《布尔 运算 》， 这 次 轮 到 介绍 字符 串 操 作 。 咱 们 先 得 弄 明 白 两 
个 内 容 : 


。 什么 是 字符 串 ? 
。 对 字符 串 有 哪些 操作 ? 


下 面 是 "在 线 新 华 字典 "的 解释 : 


字符 串 : 简称 “ 囊 *"。 有 限 字 符 的 序列 。 数 据 元 素 为 字符 的 线性 表 ， 是 一 种 数据 的 逻辑 结 
构 。 在 计算 机 中 可 有 不 同 的 存储 结构 。 在 事 上 可 进行 求 子 囊 Ee 删除 字符 、 置 


已 > 全 


换 字符 等 运算 。 
而 字符 呢 ? 


字符 : 计算 机 程序 设计 及 操作 时 使 用 的 符号 。 包 括 字 母 、 数 字 、 空 格 符 、 提 示 符 及 各 种 专 


用 字符 等 。 


照 这样 说 ， 之 前 介绍 的 数值 运算 中 的 数字 ， 布 尔 运 算 中 的 真 假 值 ， 都 是 以 字符 的 形式 呈现 出 

来 的 ， 是 一 种 特别 的 字符 ， 对 它们 的 运算 只 不 过 是 字符 操作 的 特例 罢了。 而 这 里 将 研究 一 般 

et 重要 的 意义 ， 因 为 对 我 们 来 说 ， 一 般 的 工作 都 是 处 理 字符 而 已 。 这 
运算 实际 上 将 围绕 上 述 两 个 定义 来 做 ， 它 们 包括 : 


。 找 出 字符 或 者 字符 囊 的 类 型 ， 是 数字 、 字 母 还 是 其 他 特定 字符 ， 是 可 打印 字符 ， 还 是 不 
可 打印 字符 (一些 控制 字符 ) 。 


。 找 出 组 成 字符 串 的 字符 个 数 和 字符 串 的 存储 结构 (比如 数组 ) 。 
e 对 串 的 常规 操作 : 求 子 串 、 插 入 字符 、 删 除 字符 、 置 换 字符 、 字 符 囊 的 比较 等 。 


。 对 串 的 一 些 比较 复杂 而 有 趣 的 操作 ， 这 里 将 在 最 后 介绍 一 些 有 趣 的 范例 。 


字符 串 的 属性 


字符 串 的 类 型 


字符 有 可 能 是 数字 、 字 母 、 空 格 、 其 他 特殊 字符 ， 而 字符 串 有 可 能 是 它们 中 的 一 种 或 者 多 种 
的 组 合 ， 在 组 合 之 后 还 可 能 形成 具有 特定 意义 的 字符 串 ， 诸 如 邮件 地 址 ，URL 地 址 等 。 


范例 : 数字 或 者 数字 组 合 


i=5;]j=9423483247234; 
echo $i | grep -q "^[0-9]$" 
echo $? 


echo $j] | grep -q "^[0-9]\+$" 
echo $? 


0 


范例 : 字符 组 合 (小 写字 母 、 大 写字 母 、 两 者 的 组 合 ) 


$ c="A"; d="fwefewjuew"; e="fewfEFWwefwefe" 
$ echo $c | grep -q "^[A-Z]$" 

$ echo $d | grep -q "^[a-z]\+$" 

$ echo $e | grep -q "^[a-zA-Z]\+$" 


艺 例 : 字母 和 数字 的 组 合 


$ ic="432fwfwefeFWEwefwef" 
$ echo $ic | grep -q "^[0-9a-zA-Z]\+$" 


范例 : 空格 或 者 Tab 键 等 


Eeechnomn lgrcepaenn 

$ echo -e "\t" | grep "[[:space:]]" #[[:space:]] 会 同时 匹配 空格 和 TAB 键 
$ echo -e " \t" | grep "[[:space:]]" 

$ echo -e "\t" | grep "" # 为 在 键 衣 上 按 下 TAB 键 ， 而 不 是 字符 


范例 : 匹配 邮件 地 址 


$ echo "test2007@lzu.cn" | grep "[0-9a-zA-Z\.]*@[0-9a-zA-Z\.]*" 
test2007@lzu.cn 


范例 : 匹配 URL 地 址 (以 http 链接 为 例 ) 


$ echo "http://news.lzu.edu.cn/article.jsp?newsid=10135" | grep "^http://[0-9a-zA-Z\./ 
=?]\+$" 
http://news.1lzu.edu.cn/article.jsp?newsid=10135 


说 明 : 


e /dev/null 和 /dev/zero 设备 非常 有 趣 ， 都 犹如 黑洞 ， 什 么 东西 掉 进 去 都 会 消失 殉 尽 ; 
后 者 还 是 个 能 源 箱 ， 总 能 从 那里 取 到 0， 直 到 退出 

e [[:space:]] 是 grep 用 于 匹配 空格 或 TAB 键 字符 的 标记 ， 其 他 标记 请 查 帮 助 : man 
grep 

e。 上面 都 是 用 grep 来 进行 模式 匹配 ， 实 际 上 sed ， awk 都 可 用 来 做 模式 匹配 ， 关 于 匹 
配 中 用 到 的 正则 表达 式 知识 ， 请 参考 后 面 的 相关 资料 

e 如 果 想 判断 字符 串 是 否 为 室 ， 可 判断 其 长 度 是 否 为 零 ， 可 通过 test 命令 的 -z 选项 来 
实现 ， 具 体 用 法 见 test 命令 ，man test 


范例 : 判断 字符 是 否 为 可 打印 字符 


$ echo "Ntxn"” | grep "[[:print:]]" 
\t\n 

$ echo $7? 

0 

$ echo -e "\t\n" | grep "[[:print:]]" 
$ echo $7? 

kl 


a ; 
字符 串 的 长 度 
除了 组 成 字符 囊 的 字符 类 型 外 ， 字 符 串 还 有 哪些 属性 呢 ? 组 成 字符 囊 的 字符 个 数 。 


下 面 我 们 来 计算 字符 囊 的 长 度 ， 即 所 有 字符 的 个 数 ， 并 简单 介绍 几 种 求 字符 囊 中 指定 字符 个 
数 的 方法 。 


范例 : 计算 某 个 字符 串 的 长 度 


即 计 算 所 有 字符 的 个 数 ， 计 算 方法 五 花 八 门 ， 择 其 优 着 而 用 之 : 


$ var="get the length of me" 

$ echo ${var} # 这 里 等 同 于 $var 
get the length of me 

$ echo ${#var} 

20 

$ expr length "$var" 

20 

$ echo $var | awk '{printf("%d\n", length($0));}' 
20 

$ echo -n $var | wc -c 

20 


范例 : 计算 某 些 指定 字符 或 者 字符 组 合 的 个 数 


$ echo $var | tr -cd g | wc -c 


2 

$ echo -n $var | sed -e 's/[^g]//g' | wc -c 
2 

$ echo -n $var | sed -e 's/[^gt]l//g' | wc -c 
5 


范例 : 统计 单词 个 数 
更 多 相关 信息 见 《 数 值 计算 》 的 单词 统计 相关 范例 。 


$ echo $var | wc -w 

5 

$ echo "$var" | tr " " "\n" | grep get | uniq -c 
1 

$ echo "$var" | tr " " "\n" | grep get | wc -1 

al 


说 明 : 


${} 操作 符 在 Bash 里 头 是 一 个 “大 牛 "， 能 胜任 相当 多 的 工作 ， 具 体 就 看 网 中 人 的 《Shell 十 
三 问 》 之 $(()) 与 $() 还 有 ${} 差 在 哪 ?" 吧 。 


大 大 日 一 
和 于 串 的 显示 
接 下 来 讨论 如 何 控制 字符 在 终端 的 显示 。 


范例 : 在 屏幕 控制 字符 显示 位 置 、 颜 色 、 背 景 等 


$ echo -e "\033[31;40m" # 设 置 前 景色 为 黑色 ， 背 景色 为 红色 
$ echo -e '\033[11;29H Hello，World!' # 在 屏幕 的 第 11 行 ，29 列 开始 打印 字符 串 Hello, World! 


范例 : 在 屏幕 的 某 个 位 置 动态 显示 当前 系统 时 间 


$ while :; do echo -e "\033[11;29H "$(date "+%Y-%m-%d %H:%M:%S"); done 


范例 : 过 滤 掉 茶 些 控制 字符 串 


用 col 命令 过 滤 某 些 控制 字符 ， 在 处 理 诸如 Script ? Screen 等 截屏 命令 的 输出 结果 时 2 


$ screen -L 

$ cat /bin/cat 

$ exit 

$ cat screenlog.0 | col -b  # 把 一 些 控制 字符 过 滤 后 ， 就 可 以 保留 可 读 的 操作 日 志 


字符 囊 的 存储 


在 我 们 看 来 ， 字 符 串 是 一 连 串 的 字符 而 已 ， 但 是 为 了 操作 方便 ， 我 们 往往 可 以 让 字符 串 呈 现 
出 一 定 的 结构 。 在 这 里 ， 我 们 不 关心 字符 串 在 内 存 中 的 实际 存储 结构 ， 仅 仅 关系 它 呈 现 出 来 
的 逻辑 结构 。 比 如 ， 这 样 一 个 字符 串 : "get the length of me" ， 我 们 可 以 从 不 同 的 方面 来 


呈现 它 。 
。 通过 字符 在 串 中 的 位 置 来 呈现 它 


这 样 我 们 就 可 以 通过 指定 位 置 来 找到 某 个 子囊 。 这 在 C 语言 中 通常 可 以 利用 指针 来 做 。 而 在 
Shell 编程 中 ， 有 很 多 可 用 的 工具 ， 诸 如 expr ， awk 都 提供 了 类 似 方 法 来 实现 子囊 的 查询 
动作 。 两 者 都 几乎 支持 模式 匹配 match 和 完全 匹配 index 。 这 在 后 面 的 字符 串 操 作 中 将 详 
细 介 绍 。 


。 根据 某 个 分 割 符 来 取得 字符 串 的 各 个 部 分 


这 里 最 常见 的 就 是 行 分 割 答 、 空 格 或 者 TAB 分 割 符 了 ， 前 者 用 来 当 行 号 ， 我 们 似乎 已 经 司空 
见 惯 了 ， 因 为 我 们 的 编辑 器 就 这 样 “ 英 名 ”地 处 理 着 行 分 割 符 (在 UNIX 下 为 \n ， 在 其 他 系统 
下 有 一 些 不 同 ， 比 如 Windows 下 为 \r\n ) 。 而 空格 或 者 TAB 键 经 常用 来 分 割 数据 库 的 各 
个 字段 ， 这 似乎 也 是 司空 见 惯 的 事情 。 

正 因 为 这 样 ， 所 以 产生 了 大 量 优秀 的 行 编辑 工具 ， 诸 如 grep ， awk ， sed 等 。 在 “ 行 

内 ” (姑且 这 么 说 吧 ， 就 是 处 理 单行 ， 即 字符 串 中 不 再 包含 行 分 割 符 ) 的 字符 串 分 割 方 

面 ， cut 和 awk 提供 了 非常 优越 的 “行内 ” (处 理 单行 ) 处 理 能 力 。 


@ 更 方便 地 处 理 用 分 割 符 分 割 好 的 各 个 部 分 


同样 是 用 到 分 割 符 ， 但 为 了 更 方便 的 操作 分 割 以 后 的 字符 串 的 各 个 部 分 ， 我 们 抽象 了 “数组 "这 
么 一 个 数据 结构 ， 从 而 让 我 们 更 加 方便 地 通过 下 tA bash 提供 了 这 
么 一 种 数据 结构 ， 而 优秀 的 awk 也 同样 提供 了 它 ， 我 们 这 里 将 简单 介绍 它们 的 用 法 。 


范例 : 符 串 拆 分 成 字符 串 数组 
e Bash 提供 的 数组 数据 结构 ， 以 数字 为 下 标的 ， 和 C 语言 从 0 开始 的 下 标 一 样 


$ var="get the length of me" 

$ var_arr=($var) # 把 字符 串 var 存 放 到 字符 串 数组 var_arr 中 ， 默 认 以 空格 作为 分 害 符 

$ echo ${var_arr[0]} ${var_arr[1]} ${var_arr[2]} ${var_arr[3]} ${var_arr[4]} 
get the length of me 

$ echo $f{var_arr[@]} # 整 个 字符 串 ， 可 以 用 * 代 替 @， 下 同 

get the length of me 

$ echo ${#var_arr[@]}  ”# 类 似 于 求 字 符 串 长 度 ，`#` 操 作 符 也 可 用 来 求 数组 元 素 个 数 

5 


也 可 以 直接 给 某 个 数组 元 素 赋 值 


$ var_arr[5]="new_element" 
$ echo ${#var_arr[@]} 

6 

$ echo ${var_arr[5]} 
new_element 


Bash 实际 上 还 提供 了 一 种 类 似 于 “数组 ”的 功能 ， 即 for i in ， 它 可 以 很 方便 地 获取 某 
个 字符 串 的 各 个 部 分 ， 例 如 : 


$ for i in $var; do echo -n $i" "; done 
get_the_length_of_me 





e@ awk 里 的 数组 ， 注 意 比 较 它 和 Bash 里 的 数组 的 异同 


召 


A 把 一 行 按 照 空格 分 割 ， 硝 放 到 数组 var_arr 中 ， 并 返回 数组 长 度 。 注 意 : 这 里 
第 一 个 元 素 下 标 不 是 0， 而 是 1 


$ echo $var | awk '{printf("%d %s\n", split($0, var_arr, " "), var_arr[1]);}' 
5 get 


实际 上 ， 上 述 操 作 很 类 似 awk 自身 的 行 处 理 功 能 : awk 默认 把 一 行 按照 空格 分 割 为 多 
个 域 ， 并 可 以 通过 $1 ，$2 ，$3 ..， 来 获取 ，$9 表示 整 行 。 


这 里 的 NF 是 该 行 的 域 的 总 数 ， 类 似 于 上 面 数组 的 长 度 ， 它 同样 提供 了 一 种 通过 类 似 “ 下 
标 "访问 某 个 字符 囊 的 功能 。 


$ echo $var | awk '{printf("%d | %s %s %s %s %s | %s\n", NF, $1, $2, $3, $4, $5, $ 
0) 7 
5 | get the length of me | get the length of me 


awk 的 “数组 ”功能 何止 于 此 呢 ， 看 看 它 的 for 引用 吧 ， 注 意 ， 这 个 和 Bash 里 头 的 
for 不 大 一 样 ，i 不 是 元 素 本 身 ， 而 是 下 标 : 


$ echo $var | awk '{split($0, var_arr, " "); for(i in var_arr) printf("%s "Var_ar 
r[i]);}" 

of me get the length 

4 


另外 ， 从 上 述 结果 可 以 看 到 ， 经 过 for 处 理 后 ， 整 个 结果 没有 按照 原理 的 字符 顺序 排 
列 ， 不 过 如 果 仅 仅 是 迭代 出 所 有 元 素 这 个 同样 很 有 意义 。 


awk 还 有 更 “厉害 ”的 处 理 能 力 ， 它 的 下 标 可 以 不 是 数字 ， 可 以 是 字符 串 ， 从 而 变 成 了 “关联 ” 数 
组 ， 这 种 “关联 "在 某 些 方面 非常 方便 。 比 如， 把 某 个 文件 中 的 茶 个 系统 调用 名 根据 另外 一 个 
文件 中 的 函数 地 址 映射 表 替 换 成 地 址 ， 可 以 这 么 实现 : 


$ cat Symbol 

Sys_exit 

sys_read 

sys_close 

$ ls /boot/System.map* 

/boot/System.map-2.6.20-16-generic 

$ awk '{if(FILENAME ~ "System.map") map[$3]=$1; else {printf("%s\n", map[$1])}}' \ 
/boot/System.map-2.6.20-16-generic symbol 

c0129a80 

co0177310 

co175d80 


另外 ，awk 还 支持 用 delete 有 函数 删除 某 个 数组 元 素 。 如 果 某 些 场 含有 需要 的 话 ， 别 忘 了 awk 还 
支持 二 维 数组 。 


字符 串 第 规 操 作 


字符 串 操作 包括 取 子 串 、 查 询 子 串 、 插 入 子囊 、 删 除 子囊 、 子 串 替换 、 子 串 比 较 、 子 串 排 
序 、 子 串 进 制 转换 、 子 串 编码 转换 等 。 


取 子 串 


取 子 串 的 方法 主要 有 : 


e。 直接 到 指定 位 置 求 子囊 
。 字符 匹配 求 子 串 


范例 : 按照 位 置 取 子 囊 
比如 从 什么 位 置 开始 ， 取 多 少 个 字符 


$ var="get the length of me" 

$ echo ${var:0:3} 

get 

$ echo ${var:(-2)}  # 方向 相反 呢 
me 


$ echo `expr substr "$var" 5 3”# 记 得 把 $var 引 起 来 ， 否 则 expr 会 因为 空格 而 解析 错误 
the 


$ echo $var | awk '{printf("%s\n", substr($0, 9, 6))}! 
length 


awk 把 $var 按照 空格 分 开 为 多 个 变量 ， 依 次 为 $1 ， $2 ， $3 ， $4 ， $5 


$ echo $var | awk '{fprintf("%SsNxn"，$1);} 
get 
$ echo $var | awk '{printf("%s\n", $5);}' 
me 


差点 略 掉 cut 小 工具 ， 它 用 起 来 和 awk 类 似 ， -d 指定 分 割 符 ， 如 同 awk 用 -F 于 
样 ; -f 指定 “ 域 "， 如 同 aWK 的 $ 数 字 。 


$ echo $var | cut -d" " -f 5 


范例 : 匹配 字符 求 子囊 
用 Bash 内 置 支持 求 子 串 : 


$ echo ${var%% *} # 从 右边 开始 计算 ， 删 除 最 左边 的 空格 右边 的 所 有 字符 
get 

$ echo ${var% *} # 从 右边 开始 计算 ， 删 除 第 一 个 空格 右边 的 所 有 字符 
get the length of 

$ echo ${var##* } # 从 左边 开始 计算 ， 删 除 最 右边 的 空格 左边 的 所 有 字符 
me 

$ echo ${var#* } # 从 左边 开始 计算 ， 删 除 第 一 个 空格 左边 的 所 有 字符 
the length of me 


删除 所 有 ”空格 十 字母 组 合 的 字符 串 : 


$ echo $var | sed 's/ [a-z]*//g' 
get 
$ echo $var | sed 's/[a-z]* //g' 
me 


sed 有 按 地 址 ( 行 ) 打印 (p) 的 功能 ， 记 得 先 用 tr 把 空格 换 成 行 号 : 


$ echo $var | tr " " "\n" | sed -n 1p 
get 
$ echo $var | tr " " "\n" | sed -n 5p 
me 


tr 也 可 以 用 来 取 子 串 ， 它 可 以 类 似 # 和 % 来 “ 拿 掉 ” 一 些 字符 串 来 实现 取 子 串 : 


$ echo $var | tr -d " " 

getthelengthofme 

$ echo $var | tr -cd "[a-z]" # 把 所 有 的 空格 都 拿 掉 了 ， 仅 仅 保留 字母 字符 串 ， 注 意 -Cc 和 -d 的 用 法 
getthelengthofme 


说 明 : 


。 % 和 # 删除 字符 的 方向 不 一 样 ， 前 者 在 右 ， 后 者 在 左 ，w% 和 %， 捧 和 # 的 方向 
是 前 者 是 最 大 匹配 ， 后 者 是 最 小 匹配 。〈 好 的 记忆 方法 见 网 中 人 的 键盘 记忆 
法 :# ，$ ，% 是 键盘 依次 从 左 到 右 的 三 个 键 ) 

e tr 的 -c 选项 是 complement 的 缩写 ， 即 invert ， 而 -d 选项 是 删除 ，tr -cd " 


[a-z]" 这 样 一 来 就 变 成 保留 所 有 的 字母 


对 于 字符 串 的 截取 ， 实 际 上 还 有 一 些 命令 ， 如 果 head ，tail 等 可 以 实现 有 意思 的 功能 ， 
可 以 截取 某 个 字符 串 的 前 面 、 后 面 指定 的 行 数 或 者 字 节 数 。 例 如 : 


$ echo "abcdefghijk" | head -c 4 
abcd 

$ echo -n "abcdefghijk" | tail -c 4 
hijk 


返回 符合 某 个 模式 的 子 串 本 身 
e@ 返回 子 串 在 目标 串 中 的 位 置 


准备 : 在 进行 下 面 的 操作 之 前 ， 请 准备 一 个 文件 test.txt， 里 头 有 内 容 "consists of*， 用 于 下 面 
的 范例 。 


范例 : 查询 子囊 在 目标 囊 中 的 位 置 


expr index 貌似 仅仅 可 以 返回 茶 个 字符 或 者 多 个 字符 中 第 一 个 字符 出 现 的 位 置 


$ var="get the length of me" 
$ expr index "$var" t 
3 


awk 却 能 找 出 字 串 ，match 还 可 以 匹配 正则 表达 式 


$ echo $var | awk '{printf("%d\n", match($0,"the"));}! 
5 


沁 例 : 查询 子 串 ， 返 回 包含 子 串 的 行 
awk ， sed 都 可 以 实现 这 些 功能 ， 但 是 grep 最 擅长 


$ grep "consists of" test.txt  # 查询 文件 包含 consists of 的 行 ， 并 打印 这 些 行 
$ grep "consists[[:space:]]of" -n -H test.txt # 打印 文件 名 ， 子 串 所 在 行 的 行 号 和 该 行 的 内 容 
$ grep "consists[[:space:]]of" -n -oO test.txt # 仅仅 打印 行 号 和 匹配 到 的 子 串 本 身 的 内 容 


$ awk '/consists of/{ printf("%s:%d:%s\n",FILENAME, FNR, $0)}' text # 看 到 没 ? 和 grep 的 结 


果 一 样 
$ sed -n -e '/consists of/=;/consists of/p' text # 同 样 可 以 打印 行 号 


说 明 : 
e。 awk ，grep ， sed 都 能 通过 模式 匹配 查找 指定 字符 串 ， 但 它们 各 有 所 长 ， 将 在 后 续 章 
节 中 继续 使 用 和 比较 它们 ， 进 而 发 现 各 自 优点 
。 在 这 里 姑且 把 文件 内 容 当 成 了 一 个 大 的 字符 串 ， 在 后 面 章 节 中 将 专门 介绍 文件 操作 ， 所 
介绍 


以 对 文件 内 容 中 存放 字符 串 的 操作 将 会 有 更 深入 的 分 析 和 让 


子 串 替换 


子 串 替换 就 是 把 茶 个 指定 的 子 串 替换 成 其 他 的 字符 串 ， 这 里 缆 含 了 “插入 子 串 " 和 "删除 子囊 "的 


操作 。 例 如 ， 想 插入 某 个 字符 串 到 某 个 子 串 之 前 ， 就 可 以 把 原来 的 子 串 替换 成 " 子 串 + 新 的 字符 
串 “， 如 果 想 删除 茶 个 子囊 ， 就 把 子 串 替 换 成 空 串 。 不 过 有 些 工具 提供 了 一 些 专门 的 用 法 来 做 


插入 子囊 和 删除 子 串 的 操作 ， 所 以 采 伙 还 会 专门 介绍 。 另 外 ， 要 想 替换 掉 某 个 子囊 ， 一 般 都 
是 先 找到 子 串 〈 查 询 子 串 ) ， 然 后 再 把 它 替换 掉 ， 实 质 上 很 多 工具 在 使 用 和 设计 上 都 体现 了 
这 么 一 点 。 


范例 : 把 变量 var 中 的 空格 替换 成 下 划 线 
用 {} 运算 符 ， 还 记得 么 ?网 中 人 的 教程 


$ var="get the length of me" 


$ echo ${var/ /_} # 把 第 一 个 空格 替换 成 下 划 线 
get_the length of me 
$ echo ${var// / # 把 所 有 空格 都 替换 成 下 划 线 


get_the_length_of_me 





用 awk ， awk 提供 了 转换 的 最 小 替换 函数 sub 和 全 局 替换 函数 gsub ， 类 似 / 和 // 


$ echo $var | awk '{fsub("” ", "_", $0); printf("%s\n", $0);}' 
get_the length of me 
$ echo $var | awk '{gsub(™ ", "_", $0); printf("%s\n", $0);}' 
get_the_length_of_me 





用 sed ， 子 串 替 换 可 是 sed 的 特长 : 


$ echo $var | sed -e 's/ /_/' #S <= Substitude 

get_the length of me 

$ echo $var | sed -e 'S/ /_/g'  # 看 到 没有 ， 简 短 两 个 命令 就 实现 了 最 小 匹配 和 最 大 匹配 g <= global 
get_the_length_of_me 





有 忘记 tr 命令 么 ?23 可 以 用 替换 单个 字符 的 : 


iecnoEvariltr in 人 

get_the_length_of_me 

$ echo $var | tr '[a-z]' '[A-Z]'  ”# 这 个 可 有 意思 了 ， 把 所 有 小 写字 母 都 替换 为 大 写字 母 
GET THE LENGTH OF ME 





说 明 : sed 还 有 很 有 趣 的 标签 用 法 呢 ， 下 面 再 介绍 吧 。 


有 一 种 比较 有 意思 的 字符 串 蔡 换 是 : 整个 文件 行 的 倒置 ， 这 个 可 以 通过 tac 命令 实现 ， 它 会 
把 文件 中 所 有 的 行 全 部 倒转 过 来 。 在 某 种 意义 上 来 说 ， 排 序 实际 上 也 是 一 个 字符 


党 
- 贱 
啼 
党 


插入 子囊 


在 指定 位 置 插 入 子 串 ， 这 个 位 置 可 能 是 某 个 子 串 的 位 置 ， 也 可 能 是 从 某 个 文件 开头 算 起 的 某 
个 长 度 。 通 过 上 面 的 练习 ， 我 们 发 现 这 两 者 之 间 实 际 上 是 类 似 的 。 


公式 : 插入 子 串 = 把 "old 子 串 " 替 换 成 "old 子 串 +new 子 串 " 或 者 "new 子 串 +old 子 串 " 


范例 : 在 var 字符 串 的 空格 之 前 或 之 后 插入 一 个 下 划 线 
用 人 : 


$ var="get the length of me" 

$ echo ${var/ /一 } # 在 指定 字符 串 之 前 插入 一 个 字符 串 
get_ the length of me 

$ echo ${var// /_ } 

get_ the_ length_ of_ me 

$ echo ${var/ / _} # 在 指定 字符 串 之 后 插入 一 个 字符 串 
get _the length of me 

$ echo ${var// / _} 

get _the _length of me 


其 他 的 还 用 演示 么 ? 这 里 主要 介绍 sed 怎 么 用 来 插入 字符 吧 ， 因 为 它 的 标签 功能 很 有 趣 说 
明 : ( 和 ) 将 不 匹配 到 的 字符 串 存放 为 一 个 标签 ， 按 匹配 顺序 为 \1 ，\2 .… 


$ echo $var | sed -e 's/\( \)/_\1/' 
get_ the length of me 

$ echo $var | sed -e 's/\( \)/_\1/g' 
get_ the_ length_ of_ me 

$ echo $var | sed -e 's/\( 和) 人 /人 1/ 
get _the length of me 

$ echo $var | sed -e 's/\( \)/\1 /9g' 
get _the _length _of me 


看 看 sed 的 标签 的 顺序 是 不 是 \1 ，\2 ...， 看 到 没 ? \2 和 Ni 调换 位 置 后 ，the 和 
get 的 位 置 掉 换 了 : 


$ echo $var | sed -e 's/\([a-z]*\) \([a-z]*\) /2 \1 /g' 
the get of length me 


sed 还 有 专门 的 插入 指令 ，a 和 i ， 分 别 表示 在 匹配 的 行 后 和 行 前 插入 指定 字符 


$ echo $var | sed '/get/a test' 
get the length of me 

test 

$ echo $var | sed '/get/i test' 
test 

get the length of me 


删除 子玉 


删除 子囊 : 应 该 很 简单 了 吧 ， 把 子囊 替换 成 “ 空 ”( 什 么 都 没有 ) 不 就 变 成 了 删除 么 。 还 是 来 简 
单 复习 一 下 替换 吧 。 


孔 


范例 : 把 var 字符 串 中 所 有 的 空格 给 删除 掉 。 


鼓励 : 这 样 一 替换 不 知道 变 成 什么 单词 啦 ， 谁 认得 呢 ? 但 是 中 文 却 是 连 在 一 起 的 ， 所 以 中 文 
有 多 难 ， 你 想到 了 人 么 ? 原来 你 也 是 个 语言 天 才 ， 而 英语 并 不 可 怕 ， 你 有 学 会 它 的 天 赋 ， 只 要 
有 这 个 打算 。 


再 用 1] 


$ echo ${var// /} 
getthelengthofme 


再 用 awk 


$ echo $var | awk '{gsub(™ ","",$0); printf("%s\n", $0);}' 


再 用 Sed 


$ echo $var | sed 's/ //g' 
getthelengthofme 


还 有 更 简单 的 tr 命令 ， tr 也 可 以 把 空格 给 删除 掉 ， 看 


$ echo $var | tr -d " " 


getthelengthofme 


如 果 要 删除 第 一 个 空格 后 面 所 有 的 字符 串 该 怎么 办 呢 ? 还 记得 {} 的 # 和 % 用 法 么 ?如 
果 不 记 得 ， 回 到 这 节 的 开头 开始 复习 吧 。 (实际 上 删除 子囊 和 取 子 串 未 党 不 是 两 种 互补 的 运 
算 呢 ， 删 除 掉 某 些 不 想 要 的 子囊 ， 也 就 同时 取得 另外 那些 想 要 的 子囊 一 一 这 个 世界 就 是 一 

个 “二 元 "的 世界 ， 非 常 有 趣 ) 


子 串 比较 


这 个 很 简单 : 还 记得 test 命令 的 用 法 么 ? 
等 。 另 外 ， 有 发 现 “ 字 符 串 是 否 相 等 "和 “字符 串 
关系 吗 ? 如 果 两 个 字符 串 完 全 匹配 ， 那 么 这 两 1 
串 匹 配方 法 ， 也 同样 可 以 用 到 这 里 。 


man test 。 它 可 以 用 来 判断 两 个 字符 事 是 否 相 
能 否 跟 另外 一 个 字符 串 匹 配 " 两 个 问题 之 间 的 
个 字符 串 就 相等 了 。 所 以 呢 ， 上 面 用 到 的 字符 


子 串 排序 


差点 忘记 这 个 重要 内 容 了 ， 子 串 排序 可 是 经 党 


序 排列 。 sort 


人 


外 ， 它 类 似 cut 和 awk ， 可 以 指定 分 割 符 


$ var="get the length of me" 
Nn 


$ echo $var | tr ， 
get 

length 

me 

of 

the 

$ echo $var | tr ' 
the 

of 

me 

length 

get 

$ cat > data.txt 
2 4 59637989 
41 45 44 44 26 44 
16 17 18 19 20 21 
44 20 30 39 35 38 
3132 33343536 
41 33 51 39 20 20 
46 47 48 49 50 51 
42 43 41 42 45 42 


10 
42 
22 
38 
37 
44 
52 
19 


INn' 


11 
20 
23 
28 
38 
37 
53 
39 


12 
20 
24 
25 
39 
38 
54 
75 


$ cat data.txt | Sort -k 2 


123456789 
16 17 18 19 20 21 
44 20 30 39 35 38 
31 32 33 34 35 36 
41 33 51 39 26 20 
42 43 41 42 45 42 
41 45 44 44 26 44 
46 47 48 49 50 51 


子囊 进 制 转 换 


如 果 字 母 和 数字 
绍 了 bc 命令 ， 


10 
22 
38 
37 
44 
19 
42 
52 


11 
23 
28 
38 
37 
39 
20 
53 


12 
24 
25 
39 
38 
75 
20 
54 


13 
38 
25 
30 
40 
39 
55 
17 
-hn 
13 
25 
30 
40 
39 
17 
38 
55 


字符 用 来 计数 ， 那 么 
文 里 再 复习 一 下 。 


$ echo "ibase=10;obase=16;10" 


A 


| Sort 


14 15 
37 25 
26 27 
36 20 
41 42 
42 40 
56 

A 


A lis 
26 27 
36 20 
41 42 
42 40 
17 

37 25 
56 


| bc 


45 
28 
24 
43 
37 


28 
24 
43 
37 


45 


# 正 序 排 


| sort -r # 反 序 排 


45 
29 
32 
44 
50 


29 
32 
44 
50 


45 


就 存在 进 


用 到 ， 


， 并 指定 


45 
30 
33 
45 
50 


30 
33 
45 
50 


45 


制 转换 的 问题 。 


常见 的 有 按 字母 序 、 
它 和 其 他 行 处 理 命令 一 样 ， 是 按 行 
定 需 要 排序 的 列 。 


操作 的 ， 另 


。 在 《数值 计算 》 一 节 ， 已 经 


数字 序 等 正 序 或 反 


介 


说 明 : ibase 指定 输入 进 制 ， obase 指出 输出 进 制 ， 这 样 通过 调整 ibase 和 obase ， 你 
想 怎么 转 就 怎么 转 啦 ! 
子 串 编码 转换 


什么 是 字符 编码 ? 这 个 就 不 用 介绍 了 吧 ， 看 过 那些 乱七八糟 显示 的 网 页 么 ?了 大 多 是 因为 浏览 
器 显示 时 的 "编码 “和 网 页 实际 采用 的 "编码 “不 一 致 导致 的 。 字 符 编码 通常 是 指 : 把 一 序列 "可 打 
印 “ 字 符 转 换 成 二 进 制 表 示 ， 而 字符 解码 呢 则 是 执行 相反 的 过 程 ， 如 果 这 两 个 过 程 不 匹配 ， 则 
出 现 了 所 谓 的 "乱码 “。 


为 了 解决 "乱码 “问题 呢 ? 就 需要 进行 编码 转换 。 在 Linux 下 ， 我 们 可 以 使 用 iconv 这 个 工具 


文件 的 时 候 遇 到 ， 目 前 在 Windows 下 常用 的 汉字 编码 是 gb2312 ， 而 在 Linux 下 则 大 多 采用 


utf8 ° 


$ nihao_utf8=$(echo "你 好 ") 
$ nihao_gb2312=$(echo $nihao_utf8 | iconv -f utf8 -t gb2312) 


字符 串 操 作 进 阶 


实际 上 ， 在 用 Bash 编程 时 ， 大 部 分 时 间 都 是 在 处 理 字 符 串 ， 因 此 把 这 一 节 熟 练 掌握 非常 重 
要 o 


正则 表达 式 


范例 : 处 理 URL 地 址 


URL 地 址 (URL (Uniform Resoure Locator : 统一 资源 定位 器 ) 是 WWW 页 的 地 址 ) 几 乎 是 我 们 
日 常生 活 的 玩 伴 ， 我 们 已 经 到 了 无 法 离开 它 的 地 步 啦 ， 对 它 的 操作 和 很多， 包括 判 断 URL 地 址 
的 有 效 性 ， 截 取 地 址 的 各 个 部 分 (服务 器 类 型 、 服 务 器 地 址 、 端 口 、 路 径 等 ) 并 对 各 个 部 分 
进行 进一步 的 操作 。 


下 面 我 们 来 具体 处 理 这 个 URL 地 址 : ftp://anonymous:ftp@mirror.lzu.edu.cn/software/scim- 
1.4.7.tar.gz 


$ url="ftp://anonymous:ftp@mirror.1lzu.edu.cn/software/scim-1.4.7.tar.gz" 


匹配 URL 地 址 ， 判 断 URL 地 址 的 有 效 性 


$ echo $url | grep "ftp://[a-z]*:[a-z]*@[a-z\./-]*" 


$ echo ${url%%:*} 

ftp 

$ echo $url | cut -d":" -f 1 
ftp 


截取 域名 


$ tmp=${url##*@} ; echo ${tmp%%/*} 
mirror.lzu.edu.cn 


截取 路 径 


$ tmp=${url##*@} ; echo ${tmp%/*} 
mirror.lzu.edu.cn/software 


截取 文件 名 


$ basename $url 

scim-1.4.7.tar.gz 
$ echo ${url##*/} 
scim-1.4.7.tar.gz 


截取 文件 类 型 (扩展 名 ) 


$ echo $url | sed -e 's/.*[0-9].\(.*\)/\1/g’ 
tar .gz 


范例 : 匹配 某 个 文件 中 的 特定 范围 的 行 


先 准备 一 个 测试 文件 README 


Chapter 7 -- Exercises 


7.1 please execute the program: mainwithoutreturn，and print the return value 
of it with the command "echo $2?"”，and then compare the return of the printf 
function, they are the same. 


7.2 it will depend on the exection mode, interactive or redirection to a file, 
if interactive, the "output" action will accur after the \n char with the line 
buffer mode, else, it will be really "printed" after all of the strings have 
been stayed in the buffer. 


7.3 there is no another effective method in most OS. because argc and argv are 
not global variables like environ. 


答案 前 指定 行 范围 : 第 7 行 到 第 9 行 ， 刚 好 找 出 了 第 2 题 的 答案 


$ sed -n 7,9p README 

7.2 it will depend on the exection mode, interactive or redirection to a file, 
if interactive, the "output" action will accur after the \n char with the line 
buffer mode, else, it will be really "printed" after all of the strings have 


其 实 ， 因 为 这 个 文件 内 容 格式 很 有 特色 ， 有 更 简单 的 办 法 


$ awk '/7.2/,/^$/ {printf("%s\n", $0);}' README 

7.2 it will depend on the exection mode, interactive or redirection to a file, 
if interactive, the "output" action will accur after the \n char with the line 
buffer mode, else, it will be really "printed" after all of the strings have 
been stayed in the buffer. 


有 了 上 面 的 知识 ， 就 可 以 非常 容易 地 进行 这 些 工 作 啦 : 修改 某 个 文件 的 文件 名 ， 上 比如 调整 它 
的 编码 ， 下 载 某 个 网 页 里 头 的 所 有 pdf 文档 等 。 这 些 就 作为 练习 自己 做 吧 。 
处 理 格式 化 的 文本 


平时 做 工作 ， 大 多 数 时 候 处 理 的 都 是 一 些 " 格 式 化 "的 文本 ， 比 如 类 似 /ete/passwd 这 样 的 有 
国定 行 和 列 的 文本 ， 也 有 类 似 tree 命令 输出 的 那 种 具有 树 形 结构 的 文本 ， 当 然 还 有 其 他 具 
有 特定 结构 的 文本 。 


关于 树 状 结构 的 文本 的 处 理 ， 可 以 参考 我 早期 写 的 另外 一 篇 博客 文章 : 源码 分 析 : 静态 分 析 
C 程序 函数 调用 关系 图 


实际 上 ， 只 要 把 握 好 特性 结构 的 一 些 特点 ， 并 根据 具体 的 应 用 场合 ， 处 理 起 来 就 不 会 困难 。 


下 面 来 介绍 具体 文本 的 操作 ， 以 Jsteypasswd 文件 为 个。 关于 这 个 文件 的 帮忙 和 用 法 ， 请 通 
过 man 5 passwd 查看 。 下 面 对 这 个 文件 以 及 相关 的 文件 进行 一 些 有 意义 的 操作 。 


范例 : 选取 指定 列 
选取 /etc/passwd 文 件 中 的 用 户 名 和 组 ID 两 列 


$ cat /etc/passwd | cut -d":" -fl1,4 


选取 /etc/group 文 件 中 的 组 名 和 组 ID 两 列 


$ cat /etc/group | cut -d":" -f1,3 


范例 : 文件 关联 操作 
如 果 想 找 出 所 有 用 户 所 在 的 组 ， 怎 么 办 ? 


$ join -0 1.1,2.1 -t":" -1 4 -2 3 /etc/passwd /etc/group 
root:root 

bin:bin 

daemon:daemon 

adm:adm 

1p:1lp 

pop:pop 

nobody:nogroup 

falcon:users 


说 明 : join 命令 用 来 连接 两 个 文件 ， 有 点 类 似 于 数据 库 的 两 个 表 的 连接 。 -t 指定 分 割 
符 ，-1 4 -2 3 指定 按照 第 一 个 文件 的 第 4 列 和 第 二 个 文件 的 第 3 列 ， 即 组 ID 进行 连 
接 ，-o 1.1,2.1 表示 仅仅 输出 第 一 个 文件 的 第 一 列 和 第 二 个 文件 的 第 一 列 ， 这 样 就 得 到 了 
我 们 要 的 结果 ， 不 过 ， 可 惜 的 是 ， 这 个 结果 并 不 准确 ， 再 进行 下 面 的 操作 ， 你 就 会 发 现 : 


$ cat /etc/passwd | sort -t":" -n -k 4 > /tmp/passwd 


$ cat /etc/group | sort -t":" -n -k 3 > /tmp/group 
$ join -0 1.1,2.1 -t":" -1 4 -2 3 /tmp/passwd /tmp/group 
halt:root 


operator:root 
root:root 
shutdown:root 
sync:root 
bin:bin 
daemon:daemon 
adm:adm 

1p:1lp 

pop:pop 
nobody:nogroup 
falcon:users 
games:users 


可 以 看 到 这 个 结果 才 是 正确 的 ， 所 以 以 后 使 用 join 千 万 要 注意 这 个 问题 ， 否则 采取 更 保守 
的 做 法 似乎 更 能 保证 正确 性 ， 更 多 关于 文件 连接 的 讨论 见 参考 后 续 资料 。 


上 面 涉 及 到 了 处 理 某 格式 化 行 中 的 指定 列 ， 包 括 截 取 (如 SQL 的 select 用 法 ) ， 连 接 
(如 SQL 的 join 用 法 ) ， 排 序 (如 SQL 的 order by 用 法 ) ， 都 可 以 通过 指定 分 割 符 来 
拆 分 某 个 格式 化 的 行 ， 另 外 ，" 截 取 ” 的 做 法 还 有 很 多 ， 不 光 是 cut ， awk ， 甚 至 通过 IFS 
指定 分 割 符 的 read 命令 也 可 以 做 到 ， 例 如 : 


$ IFS=":"; cat /etc/group | while read C1 C2 C3 C4; do echo $C1 $C3; done 


因此 ， 熟 悉 这 些 用 法 ， 我 们 的 工作 将 变 得 非常 灵活 有 趣 。 


到 这 里 ， 需 要 做 一 个 简单 的 练习 ， 如 何 把 按照 列 对 应 的 用 户 名 和 用 户 ID 转换 成 按照 行 对 应 
的 ， 即 把 类 似 下 面 的 数据 : 


$ cat /etc/passwd | cut -d":" -f1,3 --output-delimiter=" " 
root 0 

bin 1 

daemon 2 


转换 成 : 


$ cat a 
root bin daemon 
0 il 2 


并 转换 回去 ， 有 什么 办 法 呢 ? 记得 诸如 tr ，paste ， split 等 命令 都 可 以 使 用 。 


参考 方法 : 


正 转换 : 先 截取 用 户 名 一 列 存 入 文件 user ， 再 截取 用 户 ID 存 入 id ， 再 把 两 个 文件 
用 paste -s 命令 连 在 一 起 ， 这 样 就 完成 了 正 转换 

逆转 换 : 先 把 正 转换 得 到 的 结果 用 split -1 拆 分 成 两 个 文件 ， 再 把 两 个 拆 分 后 的 文件 
用 tr 把 分 割 答 \t 替换 成 \n ， 只 有 用 paste 命令 把 两 个 文件 连 在 一 起 ， 这 样 就 完 
成 了 逆转 换 。 


《高 级 Bash 脚本 编程 指南 》 之 操作 字符 串 ， 之 指定 变量 的 类 型 
《Shell 十 三 问 》 之 $(()) 与 $() 还 有 ${} 差 在 哪 ? 

Regular Expressions - User guide 

Regular Expression Tutorial 

Grep Tutorial 

Sed Tutorial 

awk Tutorial 

sed Tutorial 

An awk Primer 

一 些 奇怪 的 UNIX 指令 名 字 的 由 来 

磨 练 构建 正则 表达 式 模式 的 技能 

基础 11 : 文件 分 类 、 合 并 和 分 割 (sort,uniq,join,cut,paste,split) 

使 用 Linux 文本 工具 简化 数据 的 提取 

SED 单行 脚本 快速 参考 (Unix 流 编辑 器 ) 


这 一 节 本 来 是 上 个 礼拜 该 型 好 的 ， 但 是 这 些 天 太 忙 了 ， 到 现在 才 写 好 一 个 “初稿 "， 等 到 有 
时 间 再 补充 具体 的 范例 。 这 一 节 的 范例 应 该 是 最 最 有 趣 的 ， 所 有 得 好 好 研究 一 下 几 个 有 
趣 的 范例 。 

写 完 上 面 的 部 分 貌似 是 1 点 多 ， 刚 check 了 一 下 错别字 和 语法 什么 的 ， 再 添加 了 一 节 ， 
即 “ 字 符 串 的 存储 结构 *， 到 现在 已 经 快 half past 2 啦 ， 晚 实 ， 朋 友 们 。 

26 号 ， 添 加 “子囊 进 制 转换 ”和 "“ 子 串 编 码 转 换 " 两 小 节 以 及 一 个 处 理 URL 地 址 的 范例 。 


文件 操作 


文件 操作 


e 前 言 
e 文件 的 各 种 属性 
o 文件 类 型 
@ 范例 : 在 命令 行 简单 地 区 分 各 类 文件 
@ 范例 : 简单 比较 它们 的 异同 
m 范例 : 普通 文件 再 分 类 
o 文件 属 主 
昌 范例 : 修改 文件 的 属 主 
四 范例 : 查看 文件 的 属 主 
@ 范例 : 分 析 文 件 属 主 实现 的 背后 原理 
o 文件 权限 
m 范例 : 给 文件 添加 读 、 写 、 可 执行 权限 
四 范例 : 授权 普通 用 户 执 行 [oot 所 属 命令 
@ 范例 : 给 重要 文件 加 锁 
o 文件 大 小 
m 范例 : 查看 普通 文件 和 链接 文件 
@ 范例 : 查看 设备 文件 
@ 范例 : 查看 目录 
@ 文件 访问 、 更 新 、 修 改 时 间 
o 文件 名 
e 文件 的 基本 操作 
o 范例 : 创建 文件 
o 范例 : 删除 文件 
o 范例 : 复制 文件 
o 范例 : 修改 文件 名 
o 范例 : 编辑 文件 
o 范例 : 压缩 了 解压 缩 文 件 
o 范例 : 文件 搜索 (文件 定位 ) 


这 周 来 探讨 文件 操作 。 


在 日 常 学 习 和 工作 中 ， 总 是 在 不 断 地 和 各 种 文件 打交道 ， 这 些 文件 包括 普通 文本 文件 ， 可 以 
执行 的 程序 ， 带 有 控制 字符 的 文档 、 存 放 各 种 文件 的 目录 、 网 络 套 接 字 文件 、 设 备 文件 等 。 
这 些 文件 又 具有 诸如 属 主 、 大 小 、 创 建 和 修改 日 期 等 各 种 属性 。 文 件 对 应 文件 系统 的 一 些 数 
据 块 ， 对 应 磁盘 等 存储 设备 的 一 片 连续 空间 ， 对 应 于 显示 设备 却 是 一 些 具 有 不 同形 状 的 字符 
集 。 


在 这 一 节 ， 为 了 把 关注 点 定位 在 文件 本 身 ， 不 会 深入 探讨 文件 系统 以 及 存储 设备 是 如 何 组 织 
文件 的 (在 后 续 章节 再 深入 探讨 ) ， 而 是 探讨 对 它 最 熟悉 的 一 面 ， 即 把 文件 当成 是 一 系列 的 
字符 (一 个 byte ) 集合 看 待 。 因 此 之 前 介绍 的 《Shell 编程 范例 之 字符 囊 操 作 》 在 这 里 将 会 
得 到 广泛 的 应 用 ， 关 于 普通 文件 的 读 写 操作 已 经 非常 熟练 ， 那 就 是 “ 重 定向 "'， 这 里 会 把 这 部 分 
独立 出 来 介绍 。 关 于 文件 在 Linux 下 的 “数字 化 ”( 文 件 描述 符 ) 高 度 抽象 ，“ 一 切 惧 为 文件 ”的 
哲学 在 Shell 编程 里 也 得 到 了 深刻 的 体现 。 


下 面 先 来 介绍 文件 的 各 种 属性 ， 然 后 介绍 普通 文件 的 一 般 操作 。 


文件 的 各 种 属性 
首先 通过 文件 的 结构 体 来 看 看 文件 到 底 有 哪些 属性 : 


struct stat { 
dev_t st_dev; /* 设备 2 
ino_t st_ino; /* 节点 2 
mode_t st mode; /* 模式  */ 
nlink_t st_nlink; /* 硬 连 接 */ 
Ui SE/ HTD 
gid_t st_gid; /* 组 ID wi 
dev_t st_rdev; /* 设备 类 型 */ 
off_t st_off; /* 文件 字 节 数 */ 
unsigned long st_blksize; /* 块 大 小 */ 
unsigned long st_blocks; /* 块 数 */ 
time_t st_atime; /* 最 后 一 次 访问 时 间 */ 
time_t st_mtime; /* 最 后 一 次 修改 时 间 */ 
time_t st_ctime; /* 最 后 一 次 改变 时 间 ( 指 属性 ) */ 
}; 


下 面 逐 次 来 了 解 这 些 属 性 ， 如 果 需 要 查看 某 个 文件 属性 ， 用 stat 命令 就 可 ， 它 会 按照 上 面 
的 结构 体 把 信息 列 出 来 。 另 外 ， 1s 命令 在 跟 上 一 定 参 数 后 也 可 以 显示 文件 的 相关 属性 ， 比 
如 -1 参数 。 


文件 类 型 


文件 类 型 对 应 于 上 面 的 st_mode ,文件 类 型 有 很 多 ， 比 如 常规 文件 、 符 号 链接 ( 硬 链接 、 软 链 
接 ) 、 管 道 文件 、 设 备 文件 (符号 设备 、 块 设备 )、socket 文 件 等 ， 不 同 的 文件 类 型 对 应 不 同 的 
功能 和 作用 。 


范例 :在 


$ 1s -1 
total 12 
drwxr -xr-x 
prw-r--r-- 


2 
得 
brw-r--r-- 1 
CIWel 
aIWE 2 
We 2 


Jrwxrwxrwx 1 


他 


root 
root 
root 
root 
root 
root 
root 


了 简 


和 单 地 区 分 各 


root 4096 2007-12-07 


root 


9 2007-12-07 


root 3, 1 2007-12-07 
root 1, 3 2007-12-07 


root 
root 
root 


$ stat directory_file/ 


506 2007-12-07 
506 2007-12-07 
12 2007-12-07 


File: ‘directory_file/' 


Size: 4096 


Device: 301h/769d 
Access: (Q755/drwxr-xr-x) Uid: (人 0/ 
Access: 2007-12-07 20:08:18.000000000 +0800 
Modify: 2007-12-07 20:08:18.000000000 +0800 
Change: 2007-12-07 20:08:18.000000000 +0800 
$ stat null_char_dev_file 
File: ‘null char_dev_file' 


Size: 0 


Device: 301h/769d 
Access: (0Q644/crw-r--r--) Uid: (人 0/ 
Access: 2007-12-07 21:43:38.000000000 +0800 
Modify: 2007-12-07 21:43:38.000000000 +0800 
Change: 2007-12-07 21:43:38.000000000 +0800 


说 明 : 通过 1s 
同文 件 的 类 型 。 


示 管 道 文件 ，b 和 c 分 


stat 命令 的 结果 中 3 可 以 在 第 
出 ， directory_file 是 目录 ， stat 


null_ char_dev_file 


Blocks: 8 
Inode: 521521 


Blocks: 0 
Inode: 521240 


20 


类 文件 


18 fifo_pipe 
44 hda1 block_dev_file 

43 null_char_dev_file 

55 regular_file 

55 regular_file_ hard_link 
15 regular_file soft_link -> regular_file 


:08 directory_file 
20 : 
2 
2 
2 
2 
20 : 


IO Block: 4096 directory 


Links: 


root) 


IO Block: 4096 
Links: 


root) 


2 


寺 


Gid: 


Gid: 


( 0/ root) 


Device type: 1,3 
( 0o/ root) 


令 结 果 每 行 的 第 一 个 字符 可 以 看 到 ， 它 们 之 间 都 不 相同 ， 
- 表示 普通 文件 (或 者 硬 链 接 ) ，1 表示 符号 链接 ，p 表 


character special file 


这 正好 反应 了 不 


别 表示 块 设备 和 字符 设备 (另外 s 表示 socket 文件 ) 。 在 


范例 : 简单 比较 它们 的 异同 


通常 只 会 用 到 目录 、 普 通 文件 、 以 及 符号 链接 ， 很 少 碰 到 其 他 类 型 的 文件 ， 不 过 这 些 文件 还 
会 涉及 到 设备 文件 、 有 名 管道 


是 各 有 用 处 的 ， 如 果 要 做 嵌入 


(FIFO) ee 


例 之 文件 系统 》 介 


pe 相关 设备 驱动 等 


对 于 普通 文件 : 


就 是 一 系列 字符 


式 开发 或 者 进程 通 信 等 ， 可 能 会 


简单 的 操作 来 反应 它们 之 间 的 区 别 (上 
， 如 果 感 兴趣 ， 也 可 以 提前 到 网 上 找 找 设备 文件 的 作用 、 块 设备 和 字符 


竺 的 集合 ， 所 以 可 以 读 、 写 


) 


0° 


A 


与 村 


二 行 的 最 后 找到 说 明 ， 从 上 面 的 操作 可 以 看 
命令 的 结果 中 用 directory 表示 ， 而 


它 则 用 character Special file 说 明 。 


具体 原理 会 在 下 一 节 


《Shell 编程 范 


$ echo "hello, world" > regular_file 
$ cat regular_file 
hello, world 


在 目录 中 可 以 创建 新 文件 ， 所 以 目录 还 有 叫 法 : 文件 夹 ， 到 后 面 会 分 析 目 录 文件 的 结构 体 ， 
它 实际 上 存放 了 它 下 面 的 各 个 文件 的 文件 名 。 


$ cd directory_file 
$ touch file1i file2 file3 


对 于 有 名 管道 ， 操 作 起 来 比较 有 意思 : 它 ， 除 非 有 内 容 ， 否 则 阻塞 ; 如 果 要 写 它 ， 
除非 有 人 来 读 ， 否 则 阻塞 。 它 常用 于 进程 通信 中 。 可 以 打开 两 个 终端 terminal1 和 
terminal2 ， 试 试 看 : 


terminal1$ cat fifo_pipe # 刚 开始 阻塞 在 这 里 ， 直 到 下 面 的 写 动作 发 生 ， 才 打印 test 字 符 串 
terminal2$ echo "test" > fifo_pipe 


， 字符 设 备 ， 设 备 文件 对 应 于 /dev/hdalt 和 /dev/null ， 如 果 用 过 U 盘 ， 或 者 
过 简单 的 脚本 的 话 ， 这 样 的 用 法 应 该 用 过 : :-) 


$ mount hda1l_ block_dev file /mnt # 挂 载 硬盘 的 第 一 个 分 区 到 /mnt 下 (关于 挂 载 的 原理 ， 在 下 一 节 讨 论 ) 
$ echo "fewfewfef" > /dev/null  #/dev/null 像 个 黑洞 ， 什 么 东西 丢 进去 都 消失 歼 尽 


最 后 两 个 文件 分 别 是 regular_file 文件 的 硬 链接 和 软 链接 ， 去 读 写 它们 ， 他 们 的 内 容 是 相同 
的 ， 不 过 去 删除 它们 ， 他 们 却 互 不 相干 ， 硬 链接 和 软 链接 又 有 何不 同 呢 ? 前 者 可 以 说 就 是 原 
文件 ， 后 者 呢 只 是 有 那么 一 个 inode ， 但 没有 实际 的 存储 空间 ， 建 议 用 stat 命令 查看 它们 
之 间 的 区 别 ， 包 括 它 们 的 Blocks ， inode 等 值 ， 也 可 以 考虑 用 diff 比较 它们 的 大 小 。 


$ ls regular_file* 

ls regular_ file* -1 

-rw-r--r-- 2 root root 204800 2007-12-07 22:30 regular_file 
-rw-r--r-- 2 root root 204800 2007-12-07 22:30 regular_file_hard_link 


lrwxrwxrwx 1 root root 12 2007-12-07 20:15 regular_file soft_link -> regular_file 
$ rm regular_file # 删除 原文 件 

$ cat regular_file _hard_link  # 硬 链接 还 在 ， 而 且 里 头 的 内 容 还 有 呢 

fefe 


$ cat regular_file soft_l]ink 
cat: regular_file soft_link: No such file or directory 


虽然 软 链接 文件 本 身 还 在 ， 不 过 因为 它 本 身 不 存储 内 容 ， 所 以 读 不 到 东西 ， 这 就 是 软 链接 和 
硬 链接 的 区 别 。 


需要 注意 的 是 ， 硬 链接 不 可 以 跨 文件 系统 ， 而 软 链接 则 可 以 。 另 外 ， 也 不 允许 给 目录 创建 硬 
链接 。 


范例 : 普通 文件 再 分 类 


文件 类 型 从 Linux 文件 系统 那么 一 个 级 别 分 了 以 上 那么 多 类 型 ， 不 过 普通 文件 还 是 可 以 再 分 
的 (根据 文件 内 容 的 "数据 结构 “分 ) ， 比 如 常见 的 文本 文件 ， 可 执行 的 ELF 文件 ，odt 文 
档 ， jpg 图 片 格式 ， swap 分 区 文件 ， pdf 文件 。 除 了 文本 文件 外 ， 它们 大 多 是 二 进 制 文 
件 ， 有 特定 的 结构 ， 因 此 需要 有 专门 的 工具 来 创建 和 编辑 它们 。 关 于 各 类 文件 的 格式 ， 可 以 
参考 相关 文档 标准 。 不 过 非常 值得 深入 了 解 Linux 下 可 执行 的 ELF 文件 的 工作 原理 ， 如 果 有 
兴趣 ， 建 议 阅读 一 下 参考 资料 中 和 ELF 文件 相关 部 分 ， 这 一 部 分 对 于 内 入 式 Linux 工程 师 至 
关 重 要 。 


虽然 各 类 首 通 文件 都 有 专属 的 操作 工具 ， 但 是 还 是 可 以 直接 读 、 写 它们 ， 这 里 先 提 到 这 么 几 
个 工具 ， 回 头 讨论 细节 。 


e。 od :以 八进制 或 者 其 他 格式 "导出 "文件 内 容 。 

© strings : 读 出 文件 中 的 字符 (可 打印 的 字符 ) 

e gcc ， gdb ， readelf ，Objdump 等 : ELF 文件 分 析 、 处 理工 具 ( gCC 编译 器 、gdb 调试 
器 、readelf 分 析 ELF 文件 ，objdump` 反 编译 工具 ) 


再 补充 一 个 非常 重要 的 命令 ， file ， 这 个 命令 用 来 查看 各 类 文件 的 属性 。 和 stat 命令 相 
比 ， 它 可 以 进一步 识别 普通 文件 ， 即 stat 命令 显示 的 regular file 。 因 为 regular file 
可 以 有 各 种 不 同 的 结构 ， 因 此 在 操作 系统 的 支持 下 得 到 不 同 的 解释 ， 执 行 不 同 的 动作 。 虽 
然 ，Linux 下 ， 文 件 也 会 加 上 特定 的 后 缓 以便 用 户 能 够 方便 地 识别 文件 的 类 型 ， 但 是 Linux 操 
作 系 统 根据 文件 头 识 别 各 类 文件 ， 而 不 是 文件 后 缓 ， 这 样 在 解释 相应 的 文件 时 就 更 不 容易 出 
错 。 下 面 简单 介绍 file 命令 的 用 法 。 


$fade 

./: directory 

$ file /etc/profile 

/etc/profile: ASCII English text 

$ file /lib/libc-2.5.so 

/lib/libc-2.5.so: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), not str 
ipped 

$ file /bin/test 

/bin/test: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linke 
d (uses shared libs), stripped 

$ file /dev/hda 

/dev/hda: block special (3/0) 

$ file /dev/console 

/dev/console: character special (5/1) 

$ cp /etc/profile . 

$ tar zcf profile.tar.gz profile 

$ file profile.tar.gz 

profile.tar.gz: gzip compressed data, from Unix, last modified: Tue Jan 4 18:53:53 20 
00 

$ mkfifo fifo_test 

$ file fifo_test 

fifo_test: fifo (named pipe) 


更 多 用 法 见 file 命令 的 手册 ， 关 于 file 命令 的 实现 原理 ， 请 参考 magic 的 手册 (看 看 
/etc/file/magic 文件 ， 了 解 什么 是 文件 的 magic number 等 ) 9 


文件 属 主 


Linux 作为 一 个 多 用 户 系统 ， 为 多 用 户 使 用 同一 个 系统 提供 了 极 大 的 方便 ， 比 如 对 于 系统 上 的 
文件 ， 它 通过 属 主 来 区 分 不 同 的 用 户 ， 以 便 分 配 它们 对 不 同文 件 的 操作 权限 。 为 了 更 方便 地 
管理 ， 文 件 属 主 包括 该 文件 所 属 用 户 ， 以 及 该 文件 所 属 的 用 户 组 ， 因 为 用 户 可 以 属于 多 个 

组 。 先 来 简单 介绍 Linux 下 用 户 和 组 的 管理 。 


Linux 下 提供 了 一 组 命令 用 于 管理 用 户 和 组 ， 比 如 用 于 创建 用 户 的 useradd 和 groupadd ， 
用 于 删除 用 户 的 userdel 和 groupdel ， 另外 ， passwd 命令 用 于 修改 用 户 密码 。 当然， 
Linux 还 提供 了 两 个 相应 的 配置 ， 即 /etc/passwd 和 /etc/group ， 另 外 ， 有 些 系统 还 把 密码 
单独 放 到 了 配置 文件 /etc/shadow 中 。 关 于 它们 的 详细 用 法 请 参考 后 面 的 资料 ， 这 里 不 再 介 
绍 ， 仅 介绍 文件 和 用 户 之 间 的 一 些 关系 。 


范例 : 修改 文件 的 属 主 
$ chown 用 户 名 :组 名 文件 名 


如 果 要 递归 地 修改 菜 个 目录 下 所 有 文件 的 属 主 ， 可 以 添加 -R 选项 。 


从 本 节 开 头 列 出 的 文件 结构 体 中 ， 可 以 看 到 仅仅 有 用 户 ID 和 组 ID 的 信息 ;但 ls -1 的 
结果 却 显 示 了 用 户 名 和 组 名 信息 ， 这 个 是 怎么 实现 的 呢 ?下面 先 看 看 -n 的 结果 : 


学 例 : 查看 文件 的 属 主 


$ ls -n regular file 

-rw-r--r-- 1 ©0 0 115 2007-12-07 23:45 regular_ file 

$ ls -1 regular_file 

-rw-r--r-- 1 root root 115 2007-12-07 23:45 regular_file 


范例 : 分 析 文 件 属 主 实现 的 背后 原理 


可 以 看 到 ，1s -n 显示 了 用 户 ID 和 组 ID ;而 ls -1 显示 了 它们 的 名 字 。 还 记得 上 面 提 
到 的 两 个 配置 文件 /etc/passwd 和 /etc/group 文件 么 ? 它们 分 别 存 放 了 用 户 ID 和 用 户 
名 ， 组 ID 和 组 名 的 对 应 关系 ， 因 此 很 容易 想到 1s -1 命令 在 实现 时 是 如 何 通过 文件 结构 
体 的 ID 信息 找到 它们 对 应 的 名 字 信 息 的 。 如 果 想 对 1s -1 命令 的 实现 有 更 进一步 的 了 
解 ， 可 以 用 strace 跟踪 看 看 它 是 否 读 取 了 这 两 个 配置 文件 。 


$ strace -f -0o strace.log ls -1 regular_file 
$ cat strace.log | egrep "passwd|group|shadow" 
2989 open("/etc/passwd", 0_RDONLY) = 3 
2989 open("/etc/group", O_RDONLY) = 3 


说 明 : strace 可 以 用 来 跟踪 系统 调用 和 人 信号。 如同 gdb 等 其 他 强大 的 工具 一 样 ， 它 基于 
系统 的 ptrace 系统 调用 实现 。 


实际 上 ， 把 属 主 和 权限 分 开 介 绍 不 太 好 ， 因 为 只 有 它们 两 者 结合 才 使 得 多 用 户 系 统 成 为 可 
能 ， 否 则 无 法 隔离 不 同 用 户 对 某 个 文件 的 操作 ， 所 以 下 面 来 介绍 文件 操作 权限 。 


驻 件 权限 


从 ls -1 命令 的 结果 的 第 一 列 的 后 9 个 字符 中 ， 可 以 看 到 类 似 这 样 的 信息 rwxr-xr-x ， 它 
们 对 应 于 文件 结构 体 的 st_mode 部 分 ( st_mode 包含 文件 类 型 信息 和 文件 权限 信息 两 部 
分 ) 。 这 类 信息 可 以 分 成 三 部 分 ， 即 rwx ，r-x ，r-x ， 分 别 对 应 该 文件 所 属 用 户 、 所 属 
组 、 其 他 组 对 该 文件 的 操作 权限 ， 如 果 有 rwx 中 任何 一 个 表示 可 读 、 可 写 、 可 执行 ， 如 果 为 
- 表示 没有 这 个 权限 。 对 应 地 ， 可 以 用 八进制 来 表示 它 ， 比 如 rwxr-xr-x 就 可 表示 成 二 进 
制 111101101， 对 应 的 八进制 则 为 755 。 正 因为 如 此 ， 要 修改 文件 的 操作 权限 ， 也 可 以 有 多 
种 方式 来 实现 ， 它 们 都 可 通过 chmod 命令 来 修改 。 


范例 : 给 文件 添加 读 、 写 、 可 执行 权限 


比如 ， 把 regular_file 的 文件 权限 修改 为 所 有 用 户 都 可 读 、 可 写 、 可 执行 ， 
rwxrwxrwx ， 也 可 表示 为 111111111， 翻 译 成 八进制 ， 则 为 777 。 eg 
改 这 个 权限 。 


$ chmod at+rwx regular_file 


或 


$ chmod 777 regular_file 


说 明 : a 指 所 用 用 户 ， 如 果 只 想 给 用 户 本 身 可 读 可 写 可 执行 权限 ， 那 么 可 以 把 a 换 成 u 
; 而 + 就 是 添加 权限 ， 相 反 的 ， 如 果 想 去 掉 某 个 权限 ， 用 -， 而 rwx 则 对 应 可 读 、 可 
写 、 可 执行 。 更 多 用 法 见 chmod 命令 的 帮助 。 


实际 上 除了 这 些 权限 外 ， 还 有 两 个 涉及 到 安全 方面 的 权限 ， 即 setuid/setgid 和 只 读 控制 


大 后 


村 “。 


如 果 设 置 了 文件 (程序 或 者 命令 ) 的 oo 权限 ， 那 么 用 户 将 可 用 root 身份 去 执 
行 该 文件 ， 因 此 ， 这 将 可 能 带 来 安全 隐患 ;如果 设置 了 文件 的 只 读 权限 ， 那 么 用 户 将 仅仅 对 
该 文件 将 有 可 读 权 限 ， 这 为 避免 诸如 rm -rf 的 "可恶 ?操作 带 来 一 定 的 庇佑 。 


范例 : 授权 普通 用 户 执行 root 所 属 命令 


默认 情况 下 ， 系统 是 不 允许 普通 用 户 执行 passwd 命令 的 ， 通过 setuid/setgid ， 可 以 授权 
普通 用 户 执行 它 。 


$ ls - /usr/bin/passwd 

-rwx--X--X 1 root root 36092 2007-06-19 14:59 /usr/bin/passwd 
$ su # 切 换 到 Foot 用 户 ， 给 程序 或 者 命令 添加 “粘着 位 ” 

$ chmod +s /usr/bin/passwd 

$ ls - /usr/bin/passwd 

-rws--S--X 1 root root 36092 2007-06-19 14:59 /usr/bin/passwd 


$ exit 
$ passwd # 普 通用 户 通 过 执行 该 命令 ， 修 改 自 己 的 密码 


说 明 : 


setuid 和 setgid 位 是 让 普通 用 户 可 以 以 root 用 户 的 角色 运行 只 有 root 帐号 才 
运行 的 程序 或 命令 。 
虽然 这 在 一 定 程度 上 为 管理 提供 了 方便 ， 比 如 上 面 的 操作 让 普通 用 户 可 以 修改 自己 的 帐号 ， 


而 不 是 要 root 帐号 去 为 每 个 用 户 做 这 些 工 作 。 关 于 setuid/setgid 的 更 多 详细 解释 ， 请 参 
考 最 后 推荐 的 资料 。 


范例 : 给 重要 文件 加 锁 


只 读 权限 示例 : 给 重要 文件 加 锁 (添加 不 可 修改 位 [immutable]))， 以 避免 各 种 误 操 作 带 来 的 
灾难 性 后 果 (例如 : rm -rf ) 


$ chattr +i regular_file 

$ lsattr regular_file 

----i-------- regular_file 

$ rm regular_file # 加 immutab1le 位 后 就 无 法 对 文件 进行 任何 “破坏 性 "的 活动 啦 
rm: remove write-protected regular file ‘regular file'? y 

rm: cannot remove ‘regular_file': Operation not permitted 

$ chattr -i regular_file # 如 果 想 对 它 进 行 常规 操作 ， 那 么 可 以 把 这 个 位 去 掉 

$ rm regular_file 


说 明 : chattr 可 以 用 于 设置 文件 的 特殊 权限 ， 更 多 用 法 请 参考 chattr 的 帮助 。 


莹 件 大 小 


文件 大 小 对 于 普通 文件 而 言 就 是 文件 内 容 的 大 小 ， 而 目录 作为 一 个 特殊 的 文件 ， 它 存放 的 内 
容 是 以 目录 结构 体 组 织 的 各 类 文件 信息 ， 所 以 目录 的 大 小 一 般 都 是 固定 的 ， 它 存放 的 文件 个 
数 自然 也 就 有 上 限 ， 即 它 的 大 小 除 以 文件 名 的 长 度 。 设 备 文件 的 “文件 大 小 ” 则 对 应 设备 的 主 、 
次 设备 号 ， 而 有 名 管道 文件 因为 特殊 的 读 写 性 质 ， 所 以 大 小 常 是 0。 硬 链接 (目录 文件 不 能 
创建 硬 链 接 ) 实质 上 是 原文 件 的 一 个 完整 的 拷贝 ， 因 此 ， 它 的 大 小 就 是 原文 件 的 大 小 。 而 软 
链接 只 是 一 个 inode ， 存 放 了 一 个 指向 原文 件 的 指针 ， 因 此 它 的 大 小 仅仅 是 原文 件 名 的 字 节 
数 。 下 面 我 们 通过 演示 增加 记忆 。 


范例 : 查看 普通 文件 和 链接 文件 
原文 件 ， 链 接 文 件 文件 大 小 的 示例 : 


$ echo -n "abcde" > regular_file  # 往 regular_file 写 入 5 字 节 

$ ls -1 regular_file* 

-rw-r--r-- 2 root root 5 2007-12-08 15:28 regular_file 

-rw-r--r-- 2 root root 5 2007-12-08 15:28 regular_file_hard_file 

lrwxrwxrwx 1 root root 12 2007-12-07 20:15 regular_file_ soft_link -> regular_file 
lrwxrwxrwx 1 root root 22 2007-12-08 15:21 regular_file soft_link_link -> regular_file 
_soft_link 

$ i="regular_file" 





$ j="regular_file_ soft_link" 
$ echo ${#i} $f{#j} ”# 软 链接 存放 的 刚好 是 它们 指向 的 原文 件 的 文件 名 的 字 节 数 
2022 


范例 : 查看 设备 文件 


设备 号 对 应 的 文件 大 小 : 主 、 次 设备 号 


$ ls -1 hda1i block_dev_file 
brw-r--r-- 1 root root 3, 1 2007-12-07 21:44 hdali block dev_ file 
$ ls -1 null char_dev_file 
Crw-r--r-- 1 root root 1, 3 2007-12-07 21:43 null char_dev file 


补充 : 主 (major)、 次 (minor) 设 备 号 的 作用 有 不 同 。 当 一 个 设备 文件 被 打开 时 ， 内 核 会 根据 
主 设备 号 人 major number ) 去 查找 在 内 核 中 已 经 以 主 设备 号 注册 的 驱动 (可 以 cat 
/proc/devices 查看 已 经 注册 的 驱动 号 和 主 设备 号 的 对 应 情况 ) ， 而 次 设备 号 ( minor 

number ) 则 是 通过 内 核 传递 给 了 驱动 本 身 (参考 《The Linux Primer》 第 十 章 ) 。 因 此 ， 对 于 
内 核 而 言 ， 通 过 主 设备 号 就 可 以 找到 对 应 的 驱动 去 识别 某 个 设备 ， 而 对 于 驱动 而 言 ， 为 了 能 
够 更 复杂 地 访问 设备 ， 比 如 访问 设备 的 不 同 部 分 (如 硬件 通过 分 区 分 成 不 同 部 分 ， 而 出 现 
hdal ，hda2 ，hda3 等 ) ， 比 如 产生 不 同 要 求 的 随机 数 (如 /dev/random 和 
/dev/urandom 等 ) 9 


沁 例 : 查看 目录 


目录 文件 的 大 小 ， 为 什么 是 这 样 呢 ? 看 看 下 面 的 目录 结构 体 的 大 小 ， 目 录 文 件 的 Block 中 存 
放 了 该 目录 下 所 有 文件 名 的 入 口 。 


$ ls -ld directory_file/ 
drwxr-xr-x 2 root root 4096 2007-12-07 23:14 directory_file/ 


目录 的 结构 体 如 下 : 


struct dirent { 
long d_ino; 
off_t d_off; 
unsigned short d_reclen; 
char d_name[NAME_MAX+1]; /* 文件 名 称 */ 


文件 访问 、 更 新 、 修 改 时 间 


文件 的 时 间 属 性 可 以 记录 用 户 对 文件 的 操作 信息 ， 在 系统 管理 、 判 断 文 件 版 本 信息 等 情况 下 
将 为 管理 员 提 供 参 考 。 因 此 ， 在 阅读 文件 时 ， 建 议 用 cat 等 阅读 工具 ， 不 要 用 编辑 工具 
vim 去 阅读 ， 因 为 即使 没有 做 任何 修改 操作 ， 一 旦 执行 了 保存 命令 ， 将 修改 文件 的 时 间 和 惟信 
息 。 


文件 名 


文件 名 并 没有 存放 在 文件 结构 体内 ， 而 是 存放 在 它 所 在 的 目录 结构 体 中 。 所 以 ， 在 目录 的 同 
一 级 别 中 ， 文 件 名 必须 是 唯一 的 。 


文件 的 基本 操作 


对 于 文件 ， 常 见 的 操作 包括 创建 、 删 除 、 修 改 、 读 、 。 关 于 各 种 操作 对 应 的 “背后 动作 "将 
在 下 一 章 ne 范例 之 文件 系统 操作 》 详 细 Sa 


沁 例 : 创建 文件 


socket 文件 是 一 类 特殊 的 文件 ， 人 C 语言 创建 ， 这 里 不 做 介绍 (暂时 不 知道 是 否 可 
以 用 命令 直接 创建 ) ， 其 他 文件 将 通过 命令 创建 。 


$ touch regular_file # 创 建 普通 文件 

$ mkdir directory_file # 创 建 目 录 文 件 ， 目 录 文 件 里 头 可 以 包含 更 多 文件 

$ ln regular_file regular_file_hard_link # 硬 链接 ， 是 原文 件 的 一 个 完整 拷 比 

$ ln -s regular_file regular_file_soft_link  # 类 似 一 个 文件 指针 ， 指 向 原文 件 

$ mkfifo fifo_pipe  ”# 或 者 通过 "mknod fifo_pipe p" 来 创建 ，FIF0O 满 足 先进 先 出 的 特点 
$ mknod hda1l_block_dev_file b 3 1 # 块 设备 

$ mknod null char_dev_file c 1 3  # 字 符 设备 


创建 一 个 文件 实际 上 是 在 文件 系统 中 添加 了 一 个 节点 ( inode)， 该 节点 信息 将 保存 到 文件 系统 的 节点 表 
中 。 更 形象 地 说 ， 就 是 在 一 颗 树 上 长 了 一 颗 新 的 叶子 (文件 ) ee (目录 文件 ， 上面 还 可 以 长 叶子 的 那 种 ) ， 这 些 可 以 


通过 tree 命令 或 者 |S` 命令 形象 地 呈现 出 来 。 文 件 系统 从 日 常 使 用 的 角度 ， 完 全 可 以 当成 一 颗 倒 
立 的 树 来 看 ， 因 为 它们 太 像 了 ， 太 容易 记忆 啦 。 


$ tree 当前 目录 


或 者 


$ ls 当前 目录 


范例 : 删除 文件 


删除 文件 最 直接 的 印象 是 这 个 文件 再 也 不 存在 了 ， 这 同样 可 以 通过 或 者 tree 命令 呈现 

出 来 ， 就 像 树木 被 政 掉 一 个 分 支 或 者 摘 掉 一 片 叶子 一 样 。 re 

是 立即 消失 了 ， 而 是 仅仅 做 了 删除 标记 ， 因 此 ， 如 果 删 除 之 后 ， 没 有 相关 的 磁盘 写 操作 把 相 

应 的 磁盘 空间 “覆盖 ”， 那么 原理 上 是 可 以 恢复 的 (虽然 如 此 ， 但 是 这 样 的 工作 往往 很 麻烦 ， 所 

以 在 删除 一 些 重 要 数据 时 ， 请 务必 三 思 而 后 行 ， 比 如 做 好 备份 工作 ) ， 相 应 的 做 法 可 以 参考 
后 续 资 料 。 


具体 删除 文件 的 命令 有 rm ， 如 果 要 删除 空 目录 ， 可 以 用 rmdir 命令 。 例 如 : 


$ rm regular_file 
$ rmdir directory_file 
$ rm -r directory_file not_empty 


rm 有 两 个 非常 重要 的 参数 ， 一 个 是 -f ， 这 个 命令 是 非常 * 野 变 的 ”， 它 估计 给 很 多 Linux 
User 带 来 了 痛苦 ， 另 外 一 个 是 -i ， 这 个 命令 是 非常 "温柔 的 ”， 它 估计 让 很 多 用 户 感觉 > 
不 已 。 用 哪个 还 是 根据 您 的 “心情 " 吧 ， 如 果 做 好 了 充分 的 备份 工作 ， 或 者 采取 了 一 些 有 效 避 
灾难 性 后 果 的 动作 的 话 ， 您 在 做 这 些 工作 的 时 候 就 可 以 放心 一 些 足 。 


范例 : 复制 文件 
文件 的 复制 通常 是 指 文件 内 容 的 "临时 ”复制 。 通 过 这 一 节 开 头 的 介绍 ， 我 们 应 该 了 解 到 ， 文 件 


的 硬 链接 和 软 链接 在 菜 种 意义 上 说 也 是 “文件 的 复制 *， 前 者 同步 复制 文件 内 容 ， 后 者 在 读 写 的 
情况 下 同步 “复制 "文件 内 容 。 例 如 : 


用 cp 命令 常规 地 复制 文件 (复制 目录 需要 -r 选项 ) 


$ cp regular_file regular_file_copy 
$ cp -r diretory_file directory_file copy 


创建 硬 链接 ( link 和 copy 不 同 之 处 是 后 者 是 同步 更 新 ， 前 者 则 不 然 ， 复 制 之 后 两 者 不 再 
相关 ) 


$ ln regular_file regular_file hard link 


创建 软 链接 


$ ln -s regular_file regluar_file soft_link 


范例 : 修改 文件 名 


修改 文件 名 实际 上 仅仅 修改 了 文件 名 标识 符 。 可 以 通过 mv 命令 来 实现 修改 文件 名 操作 ( 即 
重 命名 ) 。 


$ mv regular_file regular_file_new_name 


范例 : 编辑 文件 


编辑 文件 实际 上 是 操作 文件 的 内 容 ， 对 应 普通 文本 文件 的 编辑 ， 这 里 主要 涉及 到 文件 内 容 的 
读 、 写 、 追 加 、 删 除 等 。 这 些 工作 通常 会 通过 专门 的 编辑 器 来 做 ， 这 类 编辑 器 有 命令 行 下 的 
vim 、 emacs 和 图 形 界 面 下 的 gedit,kedit 等 ot ole ， 会 有 专门 的 编辑 
和 处 理工 具 ， 上 比如 图 像 处 理 软件 gimp ， 文 档 编 辑 软件 openoffice 等 。 这 些 工 具 一 般 都 会 有 
专门 的 教程 。 


下 面 主 要 简单 介绍 Linux 下 通过 重 定向 来 实现 文件 的 这 些 常规 的 编辑 操作 。 


创建 一 个 文件 并 写 入 abcde 


$ echo "abcde" > new_regular_file 


再 往 上 面 的 文件 中 追加 一 行 abcde 


$ echo "abcde" >> new_regular_file 


$ while read LINE; do echo $LINE; done < test.sh 


提示 : 如 果 要 把 包含 重 定 向 的 字符 串 变 量 当 作 命 令 来 执行 ， 请 使 用 eval 命令 ， 否则 无 法 解 
释 重 定向 。 例 如 ， 


加 


$ _ redirect="echo \"abcde\" >test_redirect_ file" 

$ $redirect  ”# 这 里 会 把 > 当 作 字 符 > 打印 出 来 ， 而 不 会 当 作 重 定 向 解释 
"abcde" >test_redirect_ file 

$ eval $redirect # 这 样 才 会 把 > 解释 成 重 定向 

$ cat test_redirect_file 


abcde 


范例 : 压缩 了 解压 缩 文件 


压缩 和 解压 缩 文件 在 一 定 意义 上 来 说 是 为 了 方便 文件 内 容 的 传输 ， 不 过 也 可 能 有 一 些 特定 的 
用 途 ， 比 如 内 核 和 文件 系统 的 映像 文件 等 (更 多 相关 的 知识 请 参考 后 续 资 料 ) 。 


这 里 仅 介绍 几 种 常见 的 压缩 和 解压 缩 方法 : 
tar 


$ tar -cf file.tar file  # 压 缩 
$ tar -xf file.tar # 解 压 


gZ 


$ gzip -9 file 
$ gunzip file 


tar.gz 


$ tar -zcf file.tar.gz file 
$ tar -zxf file.tar.gz 


bz2 


$ bzip2 file 
$ bunzip2 file 


tar.bz2 


$ tar -jcf file.tar.bz2 file 
$ tar -jxf file.tar.bz2 


通过 上 面 的 演示 ， 应 该 已 经 非常 清楚 tar ，bzip2，bunzip2， gzip，gunzip 命令 的 角色 了 吧 ? 
如 果 还 不 清楚 ， 多 操作 和 比较 一 些 上 面 的 命令 ， 并 查看 它们 的 手册 : man tar .… 


范例 : 文件 搜索 (文件 定位 ) 


文件 搜索 是 指 在 某 个 目录 层次 中 找 出 具有 某 些 属性 的 文件 在 文件 系统 中 的 位 置 ， 这 个 位 置 如 
果 扩 展 到 整个 网 络 ， 那 么 可 以 表示 为 一 个 URL 地 址 ， 对 于 本 地 的 地 址 ， 可 以 表示 为 
file://+ 本 地 路 径 。 本 地 路 径 在 Linux 系统 下 是 以 / 开头 ， 例 如 ， 每 个 用 户 的 家 目录 可 以 
表示 为 : file:///home/ 。 下 面 仅仅 介绍 本 地 文件 搜索 的 一 些 办 法 。 


find 命令 提供 了 一 种 “及 时 的 ?搜索 办 法 ， 它 根据 用 户 的 请 求 ， 在 指定 的 目录 层次 中 遍历 所 有 
文件 直到 找到 需要 的 文件 为 止 。 而 updatedb+locate 提供 了 一 种 “快速 的 "的 搜索 策 

略 ， updatedb 更 新 并 产生 一 个 本 地 文件 数据 库 ， 而 locate 通过 文件 名 检索 这 个 数据 库 以 便 
快速 找到 相应 的 文件 。 前 者 支持 通过 各 种 文件 属性 进行 搜索 ， 并 且 提 供 了 一 个 接口 ( -exec 
选项 ) 用 于 处 理 搜索 后 的 文件 。 因 此 为 “单条 命令 "脚本 的 爱好 者 提供 了 极 大 的 方便 ， 不 过 对 于 
根据 文件 名 的 搜索 而 言 ， updatedb+locate 的 方式 在 搜索 效率 上 会 有 明显 提高 。 下 面 简 单 介绍 
这 两 种 方法 : 


find 命令 基本 使 用 演示 
$ find ./ -name "*.cu -0 -name "*.h" # 找 出 所 有 的 C 语 言 文件 ，-0 是 或 者 


$ find ./ \( -name "*.c" -0 -name "*.h" \) -exec mv '{}" ./c_files/ \; 
# 把 找到 的 文件 移 到 c_files 下 ， 这 种 用 法 非常 有 趣 


上 面 的 用 法 可 以 用 xargs 命令 替代 


$ find ./ -name "*.c" -0 -name "*,h"” | xargs -i mv '{}" ./c_files/ 
# 如 果 要 对 文件 做 更 复杂 的 操作 ， 可 以 考虑 把 mv 改写 为 你 自己 的 处 理 命令 ， 例 如 ， 我 需要 修 





改 所 有 的 文件 名 后 组 为 大 写 。 


$ find ./ -name "*.c" -0 -name "*,h"” | xargs -i ./toupper.sh '{}' ./c_files/ 


toupper.sh 就 是 我 们 需要 实现 的 转换 小 写 为 大 写 的 一 个 处 理 文件 ， 具 体 实现 如 下 : 


$ cat toupper.sh 
#!/bin/bash 


# the {} will be expended to the current line and becomen the first argument of this s 
cript 

FROM=$1 

BASENAME=$ {FROM##*/} 


BASE=$ {BASENAME%. *} 
SUFFIX=${BASENAME##* .} 


TOSUFFIX="$(echo $SUFFIX | tr '[a-z]' '[A-Z]')" 
TO=$2/$BASE . $TOSUFFIX 

COM="mv $FROM $TO" 

echo $COM 

eval $COM 


updatedb+locate 基本 使 用 演示 


$ updatedb # 更 新 库 
$ locate find* .gz # 查 找 包含 find 字 符 串 的 所 有 gz 压缩 包 


实际 上 ， 除 了 上 面 两 种 命令 外 ，Linux 下 还 有 命令 查找 工具 : which 和 whereis ， 前 者 用 于 
返回 某 个 命令 的 全 路 径 ， 而 后 者 用 于 返回 某 个 命令 、 源 文件 、 man 文件 的 路 径 。 例 如 ， 查 找 find 
命令 的 绝对 路 径 : 


$ which find 

/usr/bin/find 

$ whereis find 

find: /usr/bin/find /usr/X11R6/bin/find /usr/bin/X11/find /usr/X11/bin/find /usr/man/m 
ani/find.1.gz /usr/share/man/mani/find.1.gz /usr/X1ii/man/mani/find.1.9gz 


需要 提 到 的 是 ， 如 果 想 根据 文件 的 内 容 搜索 文件 ， 那么 find 和 updatedb+locate 以 及 
which ， whereis 都 无 能 为 力 啦 ， 可 选 的 方法 是 grep ， sed 等 命令 ， 前 者 在 加 上 -r 参 
数 以 后 可 以 在 指定 目录 下 文件 中 搜索 指定 的 文件 内 容 ， 后 者 再 使 用 -i 参数 后 ， 可 以 对 文件 
内 容 进行 替换 。 它 们 的 基本 用 法 在 前 面 的 章节 中 已 经 详细 介绍 了 ， 这 里 就 不 再 瘤 述 。 


值得 强调 的 是 ， 这 些 命令 对 文件 的 操作 非常 有 意义 。 它 们 在 某 个 程度 上 把 文件 系统 结构 给 抽 
象 了 ， 使 得 对 整个 文件 系统 的 操作 简化 为 对 单个 文件 的 操作 ， 而 单个 文件 如 果 仅仅 考虑 文本 
部 分 ， 那 么 最 终 却 转化 成 了 之 前 的 字符 串 操作 ， 即 上 一 节 讨 论 过 的 内 容 。 为 了 更 清楚 地 了 解 
文件 的 组 织 结构 ， 文 件 之 间 的 关系 ， 在 下 一 节 将 深入 探讨 文件 系统 。 


e 从 文件 1/O 看 Linux 的 虚拟 文件 系统 

e Linux 文件 系统 剖析 

。 《Linux 核心 》 第 九 章 文件 系统 

e Linux Device Drivers, 3rd Edition 

e 技巧 : Linux MO 重 定向 的 一 些小 技巧 

。 |ntel 平台 下 Linux 中 ELF 文件 动态 链接 的 加 载 、 解 析 及 实例 分 析 : 
o part1, 
o part2 

。 Shell 脚本 调试 技术 

e。 ELF 文件 格式 及 程序 加 载 执行 过 程 总 汇 

。 Linux 下 C 语言 编程 一 一 文件 的 操作 

。 "Linux 下 C 语言 编程 " 的 文件 操作 部 分 

。 Filesystem Hierarchy Standard 

e。 学 会 恢复 Linux 系 统 里 被 删除 的 Ext3 文件 

。 使 用 mc 恢复 被 删除 文件 

e linux ext3 误 删 除 及 恢复 原理 

e Linux 压 缩 一 解压 缩 方式 大 全 

e。 Everything is a byte 


后 记 


。 考虑 到 文件 和 文件 系统 的 重要 性 ， 将 把 它 分 成 三 个 小 节 来 介绍 : 文件 、 文 件 系统 、 程 序 
与 进程 。 在 “文件 "这 一 部 分 ， 主 要 介绍 文件 的 基本 属性 和 常规 操作 ， 在 “文件 系统 " 那 部 
分 ， 将 深入 探讨 Linux 文件 系统 的 各 个 部 分 ( 包括 Linux 文件 系统 的 结构 、 具 体 某 个 文件 
系统 的 大 体 结构 分 析 、 底 层 驱 动 的 工作 原理 ) ， 在 "程序 与 进程 "一 节 将 专门 讨论 可 执行 文 
件 的 相关 内 容 (包括 不 同 的 程序 类 型 、 加 载 执 行 过 程 、 不 同 进程 之 间 的 交互 [命令 管道 和 
无 名 管道 、 信 号 通信 ]、 对 进程 的 控制 等 ) 


。 有 必要 讨论 清楚 目录 大 小 的 含义 ， 另 外 ， 最 好 把 一 些 常 规 的 文件 操作 全 部 考虑 到 ， 包 括 
文件 的 读 、 写 、 执 行 、 删 除 、 人 和 修改、 复制 、 压 缩 /解压 缩 等 

。 下 午 刚 从 上 海 回 米 ， 上 比赛 结果 很 “糟糕 "， 不 过 到 现在 已 经 不 重要 了 ， 关 键 是 通过 决赛 发 现 
了 很 多 不 足 ， 发 现 了 设计 在 系统 开发 中 的 关键 和 角色， 并且 发 现 了 上 海 是 个 美丽 的 城市 ， 
上 交 也 是 个 美丽 的 大 学 。 回 来 就 开始 整理 这 个 因为 比赛 落下 了 两 周 的 Blog 

e。 12 月 15 日 ， 添 加 文件 搜索 部 分 内 容 


文件 系统 操作 


e 前 言 
e 文件 系统 在 Linux 操作 系统 中 的 位 置 
。 硬件 管理 和 设备 驱动 
o 范例 : 查找 设备 所 需 的 驱动 文件 
o 范例 : 查看 已 经 加 载 的 设备 驱动 
o 范例 : 卸载 设备 驱动 
o 范例 : 挂 载 设 备 驱动 
o 范例 : 查看 设备 驱动 对 应 的 设备 文件 
o 范例 : 访问 设备 文件 
e@ 理解 、 查 看 磁盘 分 区 
o 磁盘 分 区 基本 原理 
o 通过 分 析 MBR 来 理解 分 区 原理 
e 分 区 和 文件 系统 的 关系 
o 常见 分 区 类 型 
o 范例 : 格式 化 文件 系统 
。 分 区 、 逮 辑 卷 和 文件 系统 的 关系 
文件 系统 的 可 视 化 结构 
o 范例 : 挂 载 文件 系统 
o 范例 : 印 载 菜 个 分 区 
如 何 制作 一 个 文件 系统 
o 范例 : 用 dd 创建 一 个 国定 大 小 的 文件 
o 范例 : 用 mkfs 格式 化 文件 
o 范例 : 挂 载 刚 创建 的 文件 系统 
o 范例 : 对 文件 系统 进行 读 、 写 、 删 除 等 操作 
e 如 何 开发 自己 的 文件 系统 
e 后 记 








准备 了 很 久 ， 找 了 好 多 天 资料 ， 还 不 知道 应 该 如 何 动笔 写 : 因为 担心 拿捏 不 住 ， 所 以 一 方面 
继续 查找 资料 ， 一 方面 思考 如 何 来 写 。 作 为 《Shell 编 程 范例 》 的 一 部 分 ， 和 希望 它 能 够 很 好 地 
帮助 Shell 程序 员 理解 如 何 用 Shell 命令 来 完成 和 Linux 系统 关系 非常 大 的 文件 系统 的 各 种 操 
作 ， 希 望 让 Shell 程序 员 中 对 文件 系统 "混沌 "的 状态 从 此 消失 ， 项 望 文件 系统 以 一 种 更 为 清晰 
的 样子 呈现 在 眼前 。 


文件 系统 在 Linux 操作 系统 中 的 位 置 


如 何 来 认识 文件 系统 呢 ? 从 Shell 程序 员 的 角度 来 看 ， 文 件 系统 就 是 一 个 用 来 组 织 各 种 文件 的 
方法 。 但 是 文件 系统 无 法 独立 于 硬件 存储 设备 和 操作 系统 而 存在 ， 因 此 还 是 有 必要 来 再 清楚 
ee 
系统 常规 操作 的 一 些 “ 细 节 ”。 这 个 联系 或 许 (也 许 会 有 一 些 问题 ) 可 以 通过 这 样 一 种 方式 来 呈 
现 : 


Space 


>》 User 
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Filesystem Structure in Linux Operating System 


从 图 中 可 以 清晰 地 看 到 各 个 “概念 "之 间 的 关系 ， 它 们 以 不 同 层次 分 布 ， 和 覆盖 硬件 设备 、 系 统 内 
核 空 间 、 系 统 用 户 空 间 。 在 用 户 空间 ， 用 户 可 以 不 管内 核 如 何 操作 具体 硬件 设备 ， 仅 仅 使 用 
程序 员 设 计 的 各 种 界面 就 可 以 ， 而 普通 程序 员 也 仅仅 需要 利用 内 核 提 供 的 各 种 接口 (System 


Call) 或 者 一 些 C 库 来 和 内 核 进 行 交互 ， 而 无 须 关 心 具体 的 实现 细节 。 不 过 对 于 操作 系统 开发 
人 员 ， 他 们 需要 在 内 核 空 间 设 计 特 定 的 数据 结构 来 管理 和 组 织 底层 的 硬件 设备 。 


下 面 从 下 到 上 的 方式 ( 即 从 底层 硬件 开始 ) ， 用 工具 来 分 析 和 理解 图 中 几 个 重要 概念 。 (如 
果 有 兴趣 ， 可 以 先 看 看 下 面 的 几 则 资料 ) 


参考 资料 : 


e 从 文件 1/O 看 Linux 的 虚拟 文件 系统 
e Linux 文件 系统 剖析 

e 第 九 章 文件 系统 

e Linux 逻辑 盘 卷 管理 LVM 详解 


硬件 管理 和 设备 驱动 


Linux 系统 通过 设备 驱动 管理 硬件 设备 。 如 果 添 加 了 新 的 硬件 设备 ， 那 么 需要 编写 相应 的 硬件 
驱动 来 管理 它 。 对 于 一 些 常见 的 硬件 设备 ， 系 统 已 经 自 带 了 相应 的 驱动 ， 编 译 内 核 时 ， 选 中 
它们 ， 然 后 编译 成 内 核 的 一 部 分 或 者 以 模块 的 方式 编译 。 如 果 以 模块 的 方式 编译 ， 那 么 可 以 
在 系统 的 /1ib/modules/$(uname -r) 目录 下 找到 对 应 的 模块 文件 。 


范例 : 查找 设备 所 需 的 驱动 文件 
比如 ， 可 以 这 样 找到 相应 的 scsi 驱动 和 usb 驱动 对 应 的 模块 文件 : 


更 新 系统 中 文件 索引 数据 库 ( 有 点 慢 ) 
$ updatedb 

查找 scsi 相关 的 驱动 
$ locate scsi*.ko 


查找 Usb 相关 的 驱动 


$ locate usb*.ko 


些 驱动 以 .ko 为 后 级 ， 在 安装 系统 时 默认 编译 为 了 模块 。 实 际 上 可 以 把 它们 编译 为 内 核 的 

一 部 分 ， 仅 仅 需 要 在 编译 内 核 时 选择 为 [*] 即 可 。 但 是 ， 很 多 情况 下 会 以 模块 的 方式 编译 它 
们 ， 这 样 可 以 减少 内 核 的 大 小 ， 并 根据 需要 灵活 地 加 载 和 印 载 它们 。 下 面 简单 地 演示 如 何 镍 
载 模块 、 加 载 模块 以 及 查看 已 加 载 模块 的 状态 。 


可 通过 /proc 文件 系统 的 modules 文件 检查 内 核 中 已 加 载 的 各 个 模块 的 状态 ， 也 可 以 通过 
lsmod 命令 直接 查看 它们 。 


$ cat /proc/modules 
或 者 


$ lsmod 


范例 : 查看 已 经 加 载 的 设备 驱动 


查看 scsi 和 usb 相关 驱动 ， 结 果 各 列 为 模块 名 、 模 块 大 小 、 被 其 他 模块 的 引用 情况 (引用 次 
数 、 引 用 它们 的 模块 ) 


$ lsmod | egrep "scsilusb" 


usbhid 29536 0 

hid 28928 1 usbhid 

usbcore 138632 4 usbhid,ehci hcd,ohci_hcd 
scsi mod 147084 4 sg,sr_mod,sd mod,1libata 


范例 : 卸载 设备 驱动 


下 面 卸 载 usbhid 模块 看 看 (不 要 纯 载 scsi 的 驱动 ! 因为 你 的 系统 可 能 就 跑 在 上 面 ， 如 果 确 实 
想 玩 玩 ， 卸 载 前 记得 保存 数据 ) ， 通 过 rmmod 命令 就 可 以 实现 ， 先 切换 到 Root 用 户 : 


$ sudo -s 
# rmmod usbhid 


再 查看 该 模块 的 信息 ， 已 经 看 不 到 了 吧 


$ lsmod | grep ^usbhid 


范例 : 挂 载 设 备 驱动 


如 果 有 个 usb 和 鼠标， 那么 移动 一 下 ， 是 不 是 发 现 动 不 了 啦 ? 因为 设备 驱动 都 没有 了 ， 设 备 自 
然 就 没 法 用 罗 。 不 过 不 要 紧张 ， 既 然 知 道 原 因 ， 那 么 重新 加 载 驱 动 就 可 以 ， 下 面 用 insmod 
把 usbhid 模块 重新 加 载 上 。 


$ sudo -s 
# Insmod “locate usbhid.ko. 


locate usbhid.ko 是 为 了 找 出 usbhid.ko 模块 的 路 径 ， 如 果 之 前 没有 updatedb ， 估 计 用 它 
是 找 不 到 了 ， 不 过 也 可 以 直接 到 /1ib/modules 目录 下 用 find 把 usbhid.ko 文件 找到 。 


# insmod $(find /lib/modules -name "*usbhid.ko*" | grep ‘uname -fr ) 


现在 鼠标 又 可 以 用 啦 ， 不 信 再 动 一 下 鼠标 :-) 


到 这 里 ， 硬 件 设备 和 设备 驱动 之 间 关 系 应 该 是 比较 清楚 了 。 如 果 没 有 ， 那 么 继续 下 面 的 内 


沁 例 : 查看 设备 驱动 对 应 的 设备 文件 


i /dev/ 目录 下 。 


例如 ，SCSi 设备 对 应 /dev/sda ， /dev/sdal ， /dev/sda2 ... 下 面 查看 这 些 设备 信息 。 


$ ls -1 /dev/sda* 


brw-rw---- 1 root disk 8, © 2007-12-28 22:49 /dev/sda 
brw-rw---- 1 root disk 8, 1 2007-12-28 22:50 /dev/sdal 
brw-rw---- 1 root disk 8, 3 2007-12-28 22:49 /dev/sda3 
brw-rw---- 1 root disk 8, 4 2007-12-28 22:49 /dev/sda4 
brw-rw---- 1 root disk 8, 5 2007-12-28 22:50 /dev/sda5s 
brw-rw---- 1 root disk 8, 6 2007-12-28 22:50 /dev/sda6 
brw-rw---- 1 root disk 8, 7 2007-12-28 22:50 /dev/sda7 
brw-rw---- 1 root disk 8, 8 2007-12-28 22:50 /dev/sda8 


可 以 看 到 第 一 列 第 一 个 字符 都 是 bp ， 第 五 列 都 是 数字 8 。 b 表示 该 文件 是 一 个 块 设备 文 
件 ， 对 应 地 ， 如 果 是 c 则 表示 字符 设备 (例如 `/dev/ttyS0)， 关 于 块 设备 和 字符 设备 的 区 
别 ， 可 以 看 这 里 


金 像 字 节 流 一 样 访问 的 设备 ， 字 符 终端 和 串口 就 属于 字 


设备 : 块 设 备 上 可 以 容纳 文件 系统 。 与 字符 设备 不 同 ， 在 读 写 时 ， 块 设备 每 次 只 
传输 一 个 或 多 个 完整 的 块 。 在 Linux 操作 系统 中 ， 应 用 程序 可 以 像 访问 字符 设备 
一 样 读 写 块 设 备 〈 一 次 读 取 或 写 入 任意 的 字 节 数据 ) 。 因 此 ， 块 设备 和 字符 设备 的 
区 另 j 仅 仅 是 在 内 核 中 对 于 数据 的 管理 不 同 。 


数字 8 则 是 该 硬件 设备 在 内 核 中 对 应 的 设备 编号 ， 可 以 在 内 核 的 _ Documentation/devices.txt 
和 /proc/devices 文件 中 找到 设备 号 分 配 情况 。 但 是 为 什么 同一 个 设备 会 对 应 不 同 的 设备 文 
从 ( /dev/sda 后 面 为 什么 还 有 不 同 的 数字 ， 而 且 1s 结果 中 的 第 6 列 和 它们 对 应 起 来 ) 。 

这 实际 上 是 为 了 区 分 不 同 设备 的 不 同 部 分 。 对 于 硬盘 ， 这 样 可 以 处 理 硬盘 内 部 的 不 同 分 区 。 
就 内 核 而 言 ， 它 仅仅 需要 通过 第 5 列 的 设备 号 就 可 以 找到 对 应 的 硬件 设备 ， 但 是 对 于 驱动 模 


块 来 说 ， 它 还 需要 知道 如 何 处 理 不 同 的 分 区 ， 于 是 就 多 了 一 个 辅 设备 号 ， 即 第 6 列 对 应 的 内 
容 。 这 样 一 个 设备 就 有 了 主 设 备 号 (第 5 列 ) 和 辅 设备 号 (第 6 列 ) ， 从 而 方便 地 实现 对 各 
种 硬件 设备 的 管理 。 


因为 设备 文件 和 硬件 是 对 应 的 ， 这 样 可 以 直接 从 /dev/sda (如 果 是 IDE 的 硬盘 ， 那 么 对 应 
的 设备 就 是 /dev/hda 啦 ) 设备 中 读 出 硬盘 的 信息 ， 例 如 : 

范例 : 访问 设备 文件 

用 dd 命令 复制 出 硬盘 的 前 512 个 字 节 ， 要 Root 用 户 


$ sudo dd if=/dev/sda of=mbr .bin bs=512 count=1 


用 file 命令 查看 相应 的 信息 


$ file mbr.bin 

mbr.bin: x86 boot sector, LInux i386 boot LOader; partition 3: ID=0x82, starthead 254, 
startsector 19535040, 1959930 sectors; partition 4: ID=0x5, starthead 254, startsecto 
r 21494970，56661255 sectors, code offset 0x48 


也 可 以 用 od 命令 以 16 进 制 的 形式 读 取 并 进行 分 析 


$ od -x mbr.bin 


bs 是 块 的 大 小 (以 字 节 bytes 为 单位 ) ， count 是 块 数 


因为 这 些 信息 并 不 直观 (而 且 下 面 会 进一步 深入 办] ， 那么 先 来 看 看 另外 一 个 设备 文件 ， 
将 可 以 非常 直观 地 演示 设备 文件 和 硬件 的 对 应 关系 。 还 是 以 鼠标 为 例 吧 ， 下 面 来 读 取 鼠标 对 
应 的 设备 文件 的 信息 。 


$ sudo -s 
# cat /dev/input/mouse1 | od -x 


你 的 鼠标 驱动 可 能 不 太一 样 ， 所 以 设备 文件 可 能 是 其 他 的 ， 但 是 都 会 在 /dev/input 下 。 


移动 鼠标 看 看 ， 是 不 是 发 现 有 不 同 信息 输出 。 基 于 这 一 原理 ， 我 们 经 常 通过 在 一 端 读 取 设 备 
文件 /dev/ttys@ 中 的 内 容 ， 而 在 另 一 端 往 设备 文件 /dev/ttys@ 中 写 入 内 容 来 检查 串口 线 是 
否 被 损坏 。 


到 这 里 ， 对 设备 驱动 、 设 备 文件 和 硬件 设备 之 间 的 关联 应 该 是 印象 更 深刻 了 。 如 果 想 深入 了 
解 设 备 驱 动 的 工作 原理 和 设备 驱动 的 编写 ， 那 么 看 看 下 面 列 出 的 相关 资料 ， 开 始 设 备 驱 动 的 
编写 历程 吧 。 


e。 Compile linux kernel 2.6 

e Linux 系统 的 硬件 驱动 程序 编写 原理 

。 Linux 下 USB 设 备 的 原理 、 配 置 、 常 见 问题 

。 The Linux Kernel Module Programming Guide 
e Linux 设备 驱动 开发 


理解 、 查 看 磁盘 分 区 


实际 上 内 存 、U 盘 等 都 可 以 作为 文件 系统 底层 的 “存储” 设备， 但 是 这 里 仅 用 硬盘 作为 实例 来 介 
绍 磁 盘 和 分 区 的 关系 。 


目前 Linux 的 分 区 依然 采用 第 一 台 PC 硬 盘 所 使 用 的 分 区 原理 ， 下 面 逐 步 分 析 和 演示 这 一 分 区 
原理 。 


磁盘 分 区 基本 原理 


先 来 看 看 几 个 概念 : 
。 设备 管理 和 分 区 


Linux 下 ， 每 一 个 存储 设备 对 应 一 个 系统 的 设备 文件 ， 对 于 硬盘 等 IDE 和 scsI 设备 ， 
在 系统 的 /dev 目录 下 可 以 找到 对 应 的 包含 字符 hd 和 sd 的 设备 文件 。 而 根据 硬盘 
连接 的 主板 设备 接口 和 数据 线 接口 的 不 同 ， 在 hd 或 者 sd 字符 后 面 可 以 添加 一 个 从 
a 到 z 的 字符 ， 例 如 hda ，hdb ，hdc 和 sda ，sdb ，sdc 等 ， 另 外 为 了 区 别 
同一 个 硬件 设备 的 不 同 分 区 ， 在 后 面 还 可 以 添加 了 一 个 数字 ， 例 如 
hdal ， hda2 ， hdaa 和 sdal ， sda2 ， sda3 ， 所 以 在 /dev 目录 下 ， 可 以 看 到 很 
多 类 似 的 设备 文件 。 

e@ 各 分 区 的 作用 

在 分 区 时 常 遇 到 主 分 区 和 逻辑 分 区 的 问题 ， 这 实际 上 是 为 了 方便 扩展 分 区 ， 正 如 后 面 的 逻辑 

卷 的 引入 是 为 了 更 好 地 管理 多 个 硬盘 一 样 ， 引 入 主 分 区 和 逻辑 分 区 可 以 方便 地 进行 分 区 的 管 

理 。 

Linux 系统 中 每 一 个 硬盘 设备 最 多 由 4 个 主 分 区 (包括 扩展 分 区 ) 构成 。 


主 分 区 的 作用 是 计算 机 用 来 进行 启动 操作 系统 的 ， 因 此 每 一 个 操作 系统 的 启动 程序 或 者 称 作 
是 引导 程序 ， 都 应 该 存放 在 主 分 区 上 。 Linux 规定 主 分 区 (或 者 扩展 分 区 ) 占用 分 区 编号 中 
的 前 4 个。 所 以 会 看 到 主 分 区 对 应 的 设备 文件 为 /dev/hdal-4 或 者 /dev/sdal-4 ， 而 不 会 是 
hda5 或 者 sda5 。 


扩展 分 区 则 是 为 了 扩展 更 多 的 逻辑 分 区 的 ， 在 Linux 下 ， 逻 辑 分 区 占用 了 hda5-16 或 者 
sda5-16 等 12 个 编号 。 


| ee 


通过 分 析 MBR 来 理解 分 区 原理 
下 面 通过 分 析 硬 盘 的 前 512 个 字 节 ( 即 MBR ) 来 分 析 和 理解 分 区 。 


先 来 看 看 这 张 图 : 









Partition flag Start CHS 
80H: boot/active 010100H:partition 1 
00H' other A 
A Partition type 
; osH: extented Ac chs: : Start LBA 


Bootloader 
446 bytes 





Partition N 个 16 bytes 
64 bytes 
2 bytes 


它 用 来 描述 MBR 的 结构 。 MBR 包括 引导 部 分 、 分 区 表 、 以 及 结束 标记 `(55AAH)， 分 别 占 


用 了 512 字 节 中 446 字 节 、64 字 节 和 2 字 节 。 这 里 仅仅 关注 分 区 表 部 分 ， 即 中 间 的 64 字 节 


以 及 图 中 左边 的 部 分 


由 于 我 用 的 是 scsI 的 硬盘 ， 下 面 从 /dev/sda 设备 中 把 硬盘 的 前 512 个 字 节 拷贝 到 文件 
mbr .bin 中 小 


$ sudo -s 
# dd if=/dev/sda of=mbr.bin bs=512 count=1 


下 面 用 file ， od ， fdisk 等 命令 来 分 析 这 段 MBR 的 数据 ， 并 对 照 上 图 以 便 加 深 理 解 。 


$ file mbr.bin 

mbr.bin: x86 boot sector, LInux i386 boot LOader; partition 3: ID=0x82, starthead 254, 
startsector 19535040, 1959930 sectors; partition 4: ID=0x5, starthead 254, startsecto 
r 21494970，56661255 sectors, code offset 0x48 

$ od -x mbr.bin | tail -6  # 仅 关注 中 间 的 64 字 节 ， 所 以 截取 了 结果 中 后 6 行 

0000660 0000 0000 0000 0000 a666 a666 0000 0180 

0000700 0001 fe83 ffff 003f 0000 1481 012a 0000 

0000720 0000 0000 0000 0000 0000 0000 0000 feg00 

0000740 ffff fe82 ffff 14c0 012a e7fa 001d fe00 

0000760 ffff fe05 ffff fcba 0147 9507 0360 aa55 


$ sudo -S 

# fdisk -] | grep ^/ # 仅 分 析 MBR 相 关 的 部 分 ， 不 分 析 逻 辑 分 区 部 分 

/dev/sdal 这 下 1216 9767488+ 83 Linux 

/dev/sda3 1217 1338 979965 82 Linux swap / Solaris 
/dev/sda4 1339 4865 28330627+ 5 _ Extended 


file 命令 的 结果 显示 ， 刚 拷贝 的 512 字 节 是 启动 启 区 ， 用 分 号 分 开 的 几 个 部 分 分 别 是 
bootloader ， 分 区 3 和 分 区 4 。 分 区 3 的 类 型 是 82， 即 swap 分 区 (可 以 通过 fdisk 命 
令 的 1 命令 列 出 相关 信息 ) ， 它 对 应 fdisk 的 结果 中 /dev/sda3 所 在 行 的 第 5 列 ， 分 区 
3 的 扇 区 数 是 1959930， 和 转换 成 字 节 数 是 1959936\*512 (上 目前， 硬盘 的 默认 扇 区 大 小 是 512 
字 节 ) ， 而 swap 分 区 的 默认 块 大 小 是 1024 字 节 2 这 样 块 数 就 是 


$ echo 1959930*512/1024 | bc 
979965 


正好 是 fdisk 结果 中 /dev/sda3 所 在 行 的 第 四 列 对 应 的 块 数 ， 同 样 地 ， 可 以 对 照 fdisk 和 
file 的 结果 分 析 分 区 4 
再 来 看 看 od 命令 以 十 六 进 制 显示 的 结果 ， 同 样 考虑 分 区 3， 计 算 一 下 发 现 ， 分 区 3 对 应 的 


od 命令 的 结果 为 : 


fe00 ffff fe82 ffff 14c0 012a e7fa 001d 


首先 是 分 区 标记 ， ooH ， 从 上 图 中 ， 看 出 它 就 不 是 引导 分 区 ( 86H 标记 的 才 是 引导 分 区 ) ， 
而 分 区 类 型 呢 ? 为 82H ， 和 file 显示 结果 一 致 ， 现 在 再 来 关注 一 下 分 区 大 小 ， 即 file 
结果 中 的 扇 区 数 。 


$ echo "ibase=10;obase=16;1959930" | bc 
1DE7FA 


刚好 对 应 e7fa 661d ， 同 样 地 考虑 引导 分 区 的 结果 : 


0180 0001 fe83 ffff 003f 0000 1481 012a 


分 区 标记 : 89H ， 正 好 反应 了 这 个 分 区 是 引 寻 分 区 ， 随 后 是 引 寻 分 区 所 在 的 磁盘 扇 区 情况 ， 
010100， 即 1 面 0 道 1 扇 区 。 其 他 内 容 可 以 对 照 分 析 。 


考虑 到 时 间 关 系 ， 更 多 细节 请 参考 下 面 的 资料 或 者 查看 看 系统 的 相关 手册 。 


补充 : 安装 系统 时 ， 可 以 用 fdisk ， cfdisk 等 命令 进行 分 区 。 如 果 要 想 从 某 个 分 区 局 动 ， 
那么 需要 打上 86H 标记 ， 例 如 可 通过 cfdisk 把 某 个 分 区 设置 为 bootable 来 实现 。 


参考 资料 : 


Inside the linux boot process 

e。 Develop your own OS: booting 
Redhat9 磁盘 分 区 简介 

e。 Linux partition HOWTO 


分 区 和 文件 系统 的 关系 


在 没有 引入 逻辑 卷 之 前 ， 分 区 类 型 和 文件 系统 类 型 几乎 可 以 同等 对 待 ， 设 置 分 区 类 型 的 过 程 
就 是 格式 化 分 区 ， 建 立 相 应 的 文件 系统 类 型 的 过 程 。 


下 面 主要 介绍 如 何 建立 分 区 和 文件 系统 类 型 的 联系 ， 即 如 何 格 式 化 分 区 为 指定 的 文件 系统 类 


型 。 


第 见 分 区 类 型 


先 来 看 看 Linux 下 文件 系统 的 常见 类 型 (如果 要 查看 所 有 Linux 支持 的 文件 类 型 ， 可 以 用 
fdisk 命令 的 1 命令 查看 或 者 通过 man fs 查看 ， 也 可 通过 /proc/filesystems 查看 到 


当前 内 核 支持 的 文件 系统 类 型 ) 


e ext2 ， ext3 ， ext4 :这 三 个 是 Linux 根 文件 系统 通常 采用 的 类 型 

e swap : 这 个 是 实现 Linux 虚拟 内 存 时 采用 的 一 种 文件 系统 ， 安 装 时 一 般 需 要 建立 一 个 专 
门 的 分 区 ， 并 格式 化 为 swap 文件 系统 (如果 想 添加 更 多 swap 分 区 ， 可 以 参考 本 节 的 
参考 资料 ， 熟悉 dd ， mkswap ’ swapon ， swapoff 等 命令 的 用 法 ) 

e。 proc : 这 是 一 种 比较 特别 的 文件 系统 ， 作 为 内 核 和 用 户 之 间 的 一 个 接口 存在 ， 建 立 在 
内 存 中 (可 以 通过 cat 命令 查看 /proc 系统 下 的 文件 ， 甚 至 可 以 通过 修改 /proc/sys 
下 的 文件 实时 调整 内 核 配置 ， 当 前 前 提 是 需要 把 proc 文件 系统 挂 载 上 : mount -t proc 


proc /proc 


除了 上 述 文 件 系 统 类 型 外 ，Linux 支持 包括 vfat ，iso ，xfs ，nfs 在 内 各 种 常见 的 文件 
系统 类 型 ， 在 Linux 下 ， 可 以 自由 地 查看 和 操作 Windows 等 其 他 操作 系统 使 用 的 文件 系统 。 


那么 如 何 建立 磁盘 和 这 些 文件 系统 类 型 的 关联 呢 ? 格式 化 。 


格式 化 的 过 程 实际 上 就 是 重新 组 织 分 区 的 过 程 ， 可 通过 mkfs 命令 来 实现 ， 当 然 也 可 以 通过 
fdisk 等 命令 来 实现 。 这 里 仅 介绍 mkfs ， mkfs 可 用 来 对 一 个 已 有 的 分 区 进行 格式 化 ， 不 
能 实现 分 区 操作 (如果 要 对 一 个 磁盘 进行 分 区 和 格式 化 ， 那 么 可 以 用 fdisk ) 。 格 式 化 后 ， 
相应 分 区 上 的 数据 就 会 通过 某 种 特别 的 文件 系统 类 型 进行 组 织 。 


范例 : 格式 化 文件 系统 
例如 :把 /dev/sda9 分 区 格式 化 为 ext3 的 文件 系统 。 


$ sudo -s 

# mkfs -t ext3 /dev/sda9 
如 果 要 列 出 各 个 分 区 的 文件 系统 类 型 ， 那 么 可 以 用 fdisk -1 命令 。 
更 多 信息 请 参考 下 列 资 料 。 
参考 资料 : 


e。 Linux 下 加 载 swap 分 区 的 步骤 

。 Linux 下 ISO 镜像 文件 的 制作 与 刻录 
。 RAM 磁盘 分 区 解释 : [1], [2] 

。 高 级 文件 系统 实现 者 指南 


分 区 、 逻 辑 郑 和 文件 系统 的 关系 


上 一 节 直 接 把 分 区 格式 化 为 某 种 文件 系统 类 型 ， 但 是 考虑 到 扩展 新 的 存储 设备 的 需要 ， 开 发 
人 员 在 文件 系统 和 分 区 之 间 引 入 了 人 逻辑 卷 。 考 虑 到 时 间 关 系 ， 这 里 不 再 详 述 ， 请 参考 资料 : 
Linux 逻辑 卷 管理 详解 


文件 系统 的 可 视 化 结构 


文件 系统 最 终 呈 现 出 来 的 是 一 种 可 视 化 的 结构 ， 可 用 |s,find,tree 等 命令 把 它 呈 现 出 来 。 它 就 像 
一 颗 倒 挂 的 “ 树 ”， 在 树 的 节点 上 还 可 以 挂 载 新 的 “ 树 ”。 


下 面 简单 介绍 文件 系统 的 挂 载 。 


一 个 文件 系统 可 以 通过 一 个 设备 挂 载 ( mount ) 到 茶 个 目录 下 ， 这 个 目录 被 称 为 挂 载 点 。 有 
趣 的 是 ， 在 Linux 下 ， 一 个 目录 本 身 还 可 以 挂 载 到 另外 一 个 目录 下 ， 一 个 格式 化 了 的 文件 也 
可 以 通过 一 个 特殊 的 设备 /dev/loop 进行 挂 载 (如 iso 文件 ) 由 另外 ， 就 文件 系统 而 言 ， 
Linux 不 仅 支持 本 地 文件 系统 ， 还 支持 远程 文件 系统 (如 nfs ) 。 


沁 例 : 挂 载 文件 系统 
下 面 简单 介绍 文件 系统 挂 载 的 几 个 实例 。 
。 根 文件 系统 的 挂 载 


挂 载 需 要 Root 权限 ， 例 如 ， 挂 载 系统 根 文件 系统 /dev/sdal 到 /mnt 


$ sudo -s 
# mount -t ext3 /dev/sdali1 /mnt/ 


查看 /dev/sdal 的 挂 载 情况 ， 可 以 看 到 ， 一 个 设备 可 以 多 次 挂 载 


$ mount | grep sdal 
/dev/sda1l on / type ext3 (rw,errors=remount-ro) 
/dev/sdal on /mnt type ext3 (rw) 


对 于 一 个 已 经 挂 载 的 文件 系统 ， 为 支持 不 同属 性 可 以 重新 挂 载 
$ mount -n -0 remount, rw/ 


。 挂 载 一 个 新 增设 备 


如 果 内 核 已 经 支持 USB 接口 ， 那 么 插入 U 盘 时 ， 可 以 通过 dmesg 命令 查看 对 应 的 设备 号 ， 
并 挂 载 它 。 


查看 dmesg 结果 中 的 最 后 几 行内 容 ， 找 到 类 似 /dev/sdN 的 信息 ， 找 出 U 盘 对 应 的 设备 号 
$ dmesg 

这 里 假设 U 盘 是 vfat 格式 ， 以 便 在 一 些 打印 店 里 的 Windows 上 也 可 使 用 
# mount -t vfat /dev/sdN /path/to/mountpoint_directory 
。 挂 载 一 个 iso 文件 或 者 是 光盘 


对 于 一 些 iso 文 件 或 者 是 iso 格式 的 光盘 ? 同样 可 以 通过 mount 命令 挂 载 9 
对 于 iso 文件 : 


# mount -t Iso9660 /path/to/isofile /path/to/mountpoint_directory 


对 于 光盘 : 


# mount -t iso9660 /dev/cdrom /path/to/mountpoint_directory 


。 挂 载 一 个 远程 文件 系统 


# mount -t nfs remote ip:/path/to/share directory /path/to/local directory 


。 挂 载 一 个 proc 文件 系统 


# mount -t proc proc /proc 


proc 文件 系统 组 织 在 内 存 中 ， 但 是 可 以 把 它 挂 载 到 某 个 目录 下 。 通 常 把 它 挂 载 在 /proc 目 
录 下 ， 以 便 一 些 系统 管理 和 配置 工具 使 用 它 。 例 如 top 命令 用 它 分 析 内 存 的 使 用 情况 〈 读 取 
/proc/meminfo 和 /proc/stat 等 文件 中 的 内 容 ) ， lsmod 命令 通过 它 获取 内 核 模 块 的 状态 
( 读 取 /proc/modules ) ， netstat 命令 通过 它 获取 网 络 的 状态 ( 读 取 /proc/net/dev 等 文 
件 ) 。 当 然 ， 也 可 以 编写 相关 工具 。 除 此 之 外 ， 通 过 调整 /proc/sys 目录 下 的 文件 ， 可 以 动 
态 地 调整 系统 配置 ， 比 如 往 /proc/sys/net/ipv4/ip_forward 文件 中 写 入 数字 1 就 可 以 让 内 核 
支持 数据 包 转 发 。 (更 多 信息 请 参考 proc 的 帮助 ， man proc ) 


。 挂 载 一 个 目录 


$ mount --bind /path/to/needtomount_directory /path/to/mountpoint_directory 


这 个 非常 有 意思 比如 可 以 把 某 个 目 录 挂 载 到 ftp 服务 的 根 目 录 下 2 而 无 须 把 内 容 复 制 过 去 2 
就 可 以 把 相应 目录 中 的 资源 提供 给 别人 共享 。 


范例 : 卸载 菜 个 分 区 


以 上 都 只 提 到 了 挂 载 ， 那 怎么 卸载 呢 ? 用 umount 命令 跟 上 挂 载 的 源 地 址 或 者 挂 载 点 ( 设 
备 ， 文 件 ， 远 程 目 录 等 ) 就 可 以 。 例 如 : 


$ umount /path/to/mountpoint_directory 
或 者 
$ umount /path/to/mount_source 
如 果 想 管理 大 量 的 或 者 经 常 性 的 挂 载 服 务 ， 那 么 每 次 手动 挂 载 是 很 糟糕 的 事情 。 这 时 就 可 利 


用 mount 的 配置 文件 /etc/fstab ， 把 mount 对 应 的 参数 写 到 /etc/fstab 文件 对 应 的 列 
中 即 可 实现 批量 挂 载 ( mount -a ) 和 名 载 ( umount -a ) 。 /etc/fstab 中 各 列 分 别 为 文 


件 系 统 、 挂 载 点 、 类 型 、 相 关 选 项 。 更 多 信息 可 参考 fstab 的 帮助 ( man fstab ) 。 
参考 资料 : 


e Linux 硬盘 分 区 以 及 其 挂 载 原 理 
e@ 从 文件 1/O 看 Linux 的 虚拟 文件 系统 
@ 源码 分 析 : 静态 分 析 C 程序 函数 调用 关系 图 


如 何 制 作 一 个 文件 系统 


Linux 文件 系统 下 有 一 些 最 基本 的 目录 ， 不 同 的 目录 下 存放 着 不 同 作 用 的 各 类 文件 。 最 基本 的 
目录 有 /etc ，/lib ， /dev ， /bin 等 ， 它 们 分 别 存放 着 系统 配置 文件 ， 库 文件 ， 设 备 文 
件 和 可 执行 程序 。 这 些 目 录 一 般 情 况 下 是 必须 的 ， 在 做 上 见 入 式 开发 时 ， 需 要 手动 或 者 是 用 
busybox 等 工具 来 创建 这 样 一 个 基本 的 文件 系统 。 这 里 仅 制作 一 个 非常 简单 的 文件 系统 ， 并 
对 该 文件 系统 进行 各 种 常规 操作 ， 以 便 加 深 对 文件 系统 的 理解 。 


范例 : 用 dd 创建 一 个 固定 大 小 的 文件 


还 记得 dd 命令 么 ?就 用 它 来 产生 一 个 固定 大 小 的 文件 ， 这 个 为 1M(1024\*1024 bytes) 的 文 
件 


$ dd if=/dev/zero of=minifs bs=1024 count=1024 


查看 文件 类 型 ， 这 里 的 minifs 是 一 个 充满 \\@ 的 文件 ， 没 有 任何 特定 的 数据 结构 


$ file minifs 
minifs: data 


说 明 : /dev/zero 是 一 个 非常 特殊 的 设备 ， 如果 读 取 它 ， 可 以 获取 任意 多 个 \\0 “ 


接着 把 该 文件 格式 化 为 某 个 指定 文件 类 型 的 文件 系统 。 (是 不 是 觉得 不 可 思议 ， 文 件 也 可 以 
格式 化 ? 是 的 ， 不 光 是 设备 可 以 ， 文 件 也 可 以 以 某 种 文件 系统 类 型 进行 组 织 ， 但 是 需要 注意 
的 是 ， 某 些 文件 系统 (如 ext3 ) 要 求 被 格式 化 的 目标 最 少 有 64M 的 空间 ) 。 

范例 : 用 mkfs 格式 化 文件 


$ mkfs .ext2 minifs 


查看 此 时 的 文件 类 型 ， 这 时 文件 minifs 就 以 ext2 文件 系统 的 格式 组 织 了 


$ file minifs 


minifs: Linux rev 1.0 ext2 filesystem data 


范例 : 挂 载 刚 邓 


因为 该 文件 以 文件 系统 的 类 


请 切换 到 root 用 户 挂 载 它 ， 


$ sudo -s 


| 建 的 文件 系统 


型 组 织 


# mount minifs /mnt/ -o loop 


， 那 么 可 以 用 mount 


P| 


查看 该 文件 系统 信息 ， 仅 可 以 看 到 一 个 目录 文件 lost+found 


$ 1s /mnt/ 
lost+found 


范例 : 对 文件 系统 


在 该 文件 系统 下 进 


cd /mnt 
touch hello 
cd - 


HR 的 > 后 协 


创建 一 个 文件 后 


进行 读 、 写 、 删 除 等 


行 各 种 常规 操作 ， 
存 一 份 ， 以 便 比 较 ， 结 合 相 关 资 料 就 可 以 深入 地 分 析 各 种 操作 对 文件 系统 的 改变 情况 ， 从 而 
深入 理解 文件 系统 作为 一 种 组 织 数 据 的 方式 的 实现 原理 等 


cp minifs minifs.bak 


$ diff orig.od touch.od 
diff orig.od touch.od 


61,63c61, 64 
< 0060020 90gc 
< 0060040 6f6c 
< 0060060 0000 
> 0060020 90gc 
> 0060040 6f6c 
> 69060069 03d4 
> 0060100 0000 


0202 
7473 
0000 


0202 
7473 
0105 
0000 


2e2e 
662b 
0000 


2e2e 
662b 
6568 
0000 


cp minifs minifs-touch.bak 
od -x minifs.bak > orig.od 


0000 
756f 
0000 


0000 
756f 
6c6c 
0000 


0006b 
646e 
0000 


QQ00b 
646e 
006f 
0000 


包括 读 、 写 


od -x minifs-touch.bak > touch.od 


0000 
0000 
0000 


0000 
0000 
0000 
0000 


03e8 
0000 
9000 


©0014 
0900c 
9000 
9000 


、 删 除 等 。 


020a 
0000 
0000 


020a 
0000 
0000 
0000 


寺 ) 


操作 


(每 


， 比 较 此 时 文件 系统 和 之 前 文件 系统 的 异同 


命令 挂 载 并 使 用 它 。 


并 通过 -o loop 选项 把 它 关联 到 一 个 特殊 设备 /dev/loop 


次 操作 前 先 把 minifs 文件 保 


通过 比较 发 现 : 添加 文件 ， 文 件 系统 的 相应 位 置 发生 了 明显 的 变化 


$ echo "hello, world" > /mnt/hello 


执行 sync 命令 ， 确 保 缓存 中 的 数据 已 经 写 入 磁盘 (还 记得 本 节 图 1 的 buffer cache 吧 ， 
这 里 就 是 把 cache 中 的 数据 写 到 磁盘 中 ) 


$ Sync 
$ cp minifs minifs-echo.bak 
$ od -x minifs-echo.bak > echo.od 


写 入 文件 内 容 后 ， 比 较 文件 系统 和 之 前 的 异同 


$ diff touch.od echo.od 


查看 文件 系统 中 的 字符 串 


$ strings minifs 
Jost+found 

hello 

hello, world 


删除 hello 文件 ， 查 看 文件 系统 变化 


$ rm /mnt/hello 

$ cp minifs minifs-rm.bak 

$ od -x minifs-rm.bak > rm.od 
$ diff echo.od rm.od 


通过 查看 文件 系统 的 字符 串 发 现 : 删除 文件 时 并 没有 复 盖 文件 内 容 ， 所 以 从 理论 上 说 内 容 此 
是 


$ strings minifs 
lost+found 

hello 

hello, world 


上 面 仅 仅 演示 了 一 些 分 析 文 件 系 统 的 常用 工具 ， 并 分 析 了 几 个 常规 的 操作 ， 如 果 想 非常 深入 
地 理解 文件 系统 的 实现 原理 ， 请 熟悉 使 用 上 述 工具 并 阅读 相关 资料 。 
参考 资料 : 


e。 Build a mini fllesystem in linux from scratch 


e。 Build a mini fllesystem in linux with BusyBox 
e ext2 文件 系统 


如 何 开发 自己 的 文件 系统 


随 着 ”fuse 的 出 现 ， 在 用 户 空间 开发 文件 系统 成 为 可 能 ， 如 果 想 开发 自己 的 文件 系统 ， 那 么 
推荐 阅读 : 使 用 fuse 开发 自己 的 文件 系统 。 


后 记 


2007 年 12 月 22 日， 收集 了 很 多 资料 ， 写 了 整体 的 框架 

。 2007 年 12 月 28 日 下 午 ， 完 成 初稿 ， 考 虑 到 时 间 关 系 ， 很 多 细节 也 没有 进一步 分 析 ， 另 
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进程 作为 程序 站 正 发 挥 作用 时 的 “形态 *， 我 们 有 必要 对 它 的 一 些 相 关 操 作 非 常 就 悉 ， 这 一 节 主 
要 描述 进程 相关 的 概念 和 操作 ， 将 介绍 包括 程序 、 进 程 、 作 业 等 基本 概念 以 及 进程 状态 查 
询 、 进 程 通信 等 相关 的 操作 。 
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什么 是 程序 ， 什 么 又 是 进程 


人 的 集合 ， 而 进 
进 


序 运 行 起 来 成 为 进程 ，3 
特定 工作 。 


程 则 是 程序 执行 的 基本 单元 。 为 de a ，, 光 须 让 程 
而 利用 处 理 器 资源 、 内 存 资 源 ， 进 行 各 种 I/0 操作 ， 从 而 完成 某 项 


从 这 个 意思 上 说 ， 程 序 是 静态 的 ， 而 进程 则 是 动态 的 。 


进程 有 区 别 于 程序 的 地 方 还 有 : 进程 除了 包含 程序 文件 中 的 指令 数据 以 外 ， 还 需要 在 内 核 中 
有 一 个 数据 结构 用 以 存放 特定 进 关 属 性 ， 以 便 内 核 更 好 地 管理 和 调度 进程 ， 从 而 完成 
多 进程 协作 的 任务 。 因 此 ， 从 这 个 意义 上 可 以 说 “高 于 "程序 ， 超 出 了 程序 指令 本 身 。 


如 果 进 行 过 多 进程 程序 的 开发 ， 又 会 发 现 ， 一 个 程序 可 能 创建 多 个 进程 ， 通 过 多 个 进程 的 交 
互 完 成 任务 。 在 Linux 下 ， 多 进程 的 创建 通常 是 通过 fork 系统 调用 来 实现 。 从 这 个 意义 上 
来 说 程序 则 ?包含 "了 进程 。 


oo to a 区 述 ， 包 括 C 语言 程序 、 汇 编 语言 程 
序 和 最 后 编译 产生 的 机 器 指令 


下 面 简单 讨论 Linux 下 面 如 何 通过 Shel| 进行 进程 的 相关 操作 。 


’ 


进程 的 创建 


Rr 


通常 在 命令 行 键入 某 个 程序 文件 名 以 后 ， 一 个 进程 就 被 创建 了 。 例 如 


范例 : 让 程序 在 后 台 运 行 


$ Sleep 100 & 
[1] 9298 


范例 : 查看 进程 ID 
用 pidof 可 以 查看 指定 程序 名 的 进程 ID : 


$ pidof Sleep 
9298 


范例 : 查看 进程 的 内 存 映像 


$ cat /proc/9298/maps 


08048000-0804b000 r-xp 00000000 08:01 977399 /bin/sleep 
0804b000-0804c000 rw-p 00003000 08:01 977399 /bin/sleep 
0804c000-0806d000 rw-p 0804c000 00:00 0 [heap] 


b7c8b000-b7cca000 r--p 00000000 08:01 443354 
bfbd80600-bfbed000 rw-p bfbd8000 00:00 0 [stack] 


ffffe000-fffff000 r-xp 00000000 00:00 0 [vdso] 


程序 被 执行 后 ， 就 被 加 载 到 内 存 中 ， 成 为 了 一 个 进程 。 上 面 显示 了 该 进程 的 内 存 映像 (虚拟 
内 存 ) ， 包 括 程 序 指令 、 数 据 ， 以 及 一 些 用 于 存放 程序 命令 行 参数 、 环 境 变量 的 栈 空 间 ， 用 
于 动态 内 存 申 请 的 扒 空间 都 被 分 配 好 。 

关于 程序 在 命令 行 执行 过 程 的 细节 ， 请 参考 《Linux 命令 行 下 程序 执行 的 一 刹那 》。 


实际 上 ， 创 建 一 个 进程 ， 也 就 是 说 让 程序 运行 ， 还 有 其 他 的 办 法 ， 比 如 ， 通 过 一 些 配置 让 系 

统 启动 时 自动 启动 程序 (具体 参考 man init ) ， 或 者 是 通过 配置 crond (或 者 at ) 让 它 
定时 启动 程序 。 除 此 之 外 ， 还 有 一 个 方式 ， 那 就 是 编写 Shell 脚本 ， 把 程序 写 入 一 个 脚本 文 

件 ， 当 执行 脚本 文件 时 ， 文 件 中 的 程序 将 被 执行 而 成 为 进程 。 这 些 方式 的 细节 就 不 介绍 ， 下 
面 了 解 如 何 查看 进程 的 属性 。 


需要 补充 一 点 的 是 : 在 命令 行 下 执行 程序 ， 可 以 通过 ulimit 内 置 命令 来 设置 进程 可 以 利用 
的 资源 ， 比 如 进程 可 以 打开 的 最 大 文件 描述 符 个 数 ， 最 大 的 栈 空间 ， 虚 拟 内 存 空间 等 。 具 体 
用 法 见 help ulimit 。 


查看 进程 的 属性 和 状态 


可 以 通过 ps 命令 查看 进程 相关 属性 和 状态 ， 这 些 信息 包括 进程 所 属 用 户 ， 进 程 对 应 的 程 
序 ， 进 程 对 cpu 和 内 存 的 使 用 情况 等 信息 。 熟 悉 如 何 查看 它们 有 助 于 进行 相关 的 统计 分 析 等 


范例 : 通过 ps 命令 查看 进程 属性 


查看 系统 当前 所 有 进程 的 属性 : 


查看 命令 中 包含 某 字 符 的 程序 对 应 的 进程 ， 进 程 ID 是 1。 TTY 为 ?表示 和 终端 没有 关 


$ ps -C init 
PID TTY TIME CMD 
3 00:00:01 init 


选择 某 个 特定 用 户 启动 的 进程 : 


$ ps -U falcon 


按照 指定 格式 输出 指定 内 容 ， 下 面 输出 命令 名 和 cpu 使 用 率 : 


$ ps -e -0 "%C %c" 


打印 cpu 使 用 率 最 高 的 前 4 个 程序 : 


$ ps -e -0 "%C %c" | sort -u -ki -r | head -5 
7.5 firefox-bin 

1.1 Xorg 

0.8 scim-panel-gtk 

0.2 scim-bridge 


获取 使 用 虚拟 内 存 最 大 的 5 个 进程 


$ ps -e -0 "%z %c" | sort -n -ki -r | head -5 
349588 firefox-bin 

96612 xfce4-terminal 

88840 xfdesktop 

76332 gedit 

58920 scim-panel-gtk 


范例 : 通过 pstree 查看 进程 亲缘 关系 


系统 所 有 进程 之 间 都 有 “亲缘 ”关系 ， 可 以 通过 pstree 查看 这 种 关系 : 


$ pstree 


上 面 会 打印 系统 进程 调用 树 ， 可 以 非常 清楚 地 看 到 当前 系统 中 所 有 活动 进程 之 间 的 调用 关 
系 O 


范例 : 用 top 动 态 查看 进程 信息 


$ top 


2 最 大 特点 是 可 以 动态 地 查看 进程 信息 ， 当 然 ， 它 还 提供 了 一 些 其 他 的 参数 ， 比 如 -s 
安 昭 系 计 执行 时 间 的 大 小 排序 查看 ， 也 可 以 通过 -u 查看 指定 用 户 局 动 的 进程 等 。 


补充 : top 命令 支持 交互 式 ， 比 如 它 支持 u 命令 显示 用 户 的 所 有 进程 ， 支 持 通 过 k 
杀 掉 某 个 进程 ; 如 果 使 用 -n 1 选项 可 以 启用 批 处 理 模 式 ， 具 体 用 法 为 : 


人 


令 


$ top -n 1 -b 


范例 : 确保 特定 程序 八 只 有 一 个 副 | 本 在 运 
下 面 来 讨论 一 个 有 趣 的 问题 : 如 何 让 一 个 程序 在 同一 时 间 只 有 一 个 在 运行 。 
这 意味 着 当 一 个 程序 正在 被 执行 时 ， 它 将 不 能 再 被 启动 。 那 该 怎么 做 呢 ? 


假如 一 份 相同 的 程序 被 复制 成 了 很 多 份 ， 并 且 具 有 不 同 的 文件 名 被 放 在 不 同 的 位 置 ， 这 个 将 
比较 错 糕 ， 所 以 考虑 最 简单 的 情况 ， 那 就 是 这 份 程序 在 整个 系统 上 是 唯一 的 ， 而 且 名 字 也 是 
唯一 的 。 这 样 的 话 ， 有 哪些 办 法 来 回答 上 面 的 问题 呢 ? 


总 的 机 理 是 : 在 程序 开头 检查 自己 有 没有 执行 ， 如 果 执 行 了 则 停止 否则 继续 执行 后 续 代 码 。 


策略 则 是 多 样 的 ， 由 于 前 面 的 假设 人 的 唯一 性 ， 所 以 通过 ps 命令 
找 出 当前 所 有 进程 对 应 的 程序 名 ， 和 逐个 与 自己 的 程序 名 比较 ， 如 果 已 经 有 ， 那 么 说 明 自 己 已 
经 运行 了 。 


ps -e -oO "%c" | tr -d"" | grep -q Ainit$  # 查 看 当前 程序 是 否 执行 
[ $? -eq 0 ] && exit  # 如 果 在 ， 那 么 退出 ，$? 表 示 上 一 条 指令 是 否 执 行 成 功 


每 次 运行 时 先 在 指定 位 置 检 查 是 否 存 在 一 个 保存 自己 进程 ID 的 文件 ， 如 果 不 存 在 ， 那 么 继 
续 执行 ， 如 果 存 在 ， 那 么 查看 该 进程 ID ee ， 如 果 在 ， 那 么 退出 ， 否 则 往 该 文件 
重新 写 入 新 的 进程 ID ， 并 继续 。 


pidfile=/tmp/$0".pid" 
if [ -f $pidfile ]; then 
OLDPID=$ (cat $pidfile) 
ps -e -0 "%p" | tr -dd " " | grep -q "^$0LDPID$" 
[ $? -eq 0 ] && exit 
fi 


echo $$ > $pidfile 
#.,， 代码 主体 


# 设 置信 号 9 的 动作 ， 当 程序 退出 时 触发 该 信号 从 而 删除 掉 临 时 文件 
trap "rm $pidfile" 0 


更 多 实现 策略 自己 尽情 发 挥 吧 | 


调整 进程 的 优先 级 


在 保证 每 个 进程 都 能 够 顺利 执行 外 ， 为 了 让 某 些 任务 优先 完成 ， 那 么 系统 在 进行 进程 调度 时 
人 这 种 情况 
下 ， 可 以 通过 renice 调整 正在 运行 的 程序 的 优先 级 ， 例如 : 


沁 例 : 获取 进程 优先 级 


$ ps -e -0 "%p %c %n" | grep xfs 
5089 xfs 0 


范例 : 调整 进程 的 优先 级 


$ renice 1 -p 5089 

renice: 5089: setpriority: Operation not permitted 

$ sudo renice 1 -p 5089  # 需 要 权限 才 行 

[sudo] password for falcon: 

5089: old priority 0, new priority 1 

$ ps -e -0 "%p %c %n" | grep xfs # 再 看 看 ， 优 先 级 已 经 被 调整 过 来 了 
5089 xfs 起 


结束 进程 


既然 可 以 通过 命令 行 执 行程 序 ， 创 建 进程 ， 那 么 也 有 办 法 结束 它 。 可 以 通过 kill 命令 给 用 
户 自己 启动 的 进程 发 送 某 个 信号 让 进程 终止 ， 然 “ 万 能 "的 root 几乎 可 以 kill 所 有 进程 
(除了 init 之 外 ) 。 例 如 ， 


范例 : 结束 进程 


$ sleep 50 &  # 启 动 一 个 进程 
[1] 11347 
$ kil1 11347 


kill 命令 ee 言 号 ( SIGTERM ) 给 程序 ， 让 程序 退出 ， 但 是 kill 还 可 以 发 送 
其 他 信号 ， 这 些 信 号 的 定义 可 以 通过 man 7 signal 查看 到 ， 也 可 以 通过 kill -1 列 出 来 。 


$ man 7 Signal 


$ kill -1 

1) SIGHUP 2) SIGINT 3) 
5) SIGTRAP 6) SIGABRT 7) 
9) SIGKILL 10) SIGUSR1 11) 
13) SIGPIPE 14) SIGALRM 15) 
17) SIGCHLD 18) SIGCONT 19) 
21) SIGTTIN 22) SIGTTOU 23) 
25) SIGXFSZ 26) SIGVTALRM 27) 
29) SIGIO 30) SIGPWR 31) 
35) SIGRTMIN+1 36) SIGRTMIN+2 37) 
39) SIGRTMIN+5 40) SIGRTMIN+6 41) 
43) SIGRTMIN+9 44) SIGRTMIN+10 45) 


47) 
51) 
55) 
59) 
63) 


SIGRTMIN+13 48) SIGRTMIN+14 49) 
SIGRTMAX-13 52) SIGRTMAX-12 53) 
SIGRTMAX-9 56) SIGRTMAX-8 57) 
SIGRTMAX-5 60) SIGRTMAX-4 61) 
SIGRTMAX-1 64) SIGRTMAX 


SIGQUIT 
SIGBUS 
SIGSEGV 
SIGTERM 
SIGSTOP 
SIGURG 
SIGPROF 
SIGSYS 


4) SIGILL 

8) SIGFPE 
12) SIGUSR2 
16) SIGSTKFLT 
20) SIGTSTP 
24) SIGXCPU 
28) SIGWINCH 
34) SIGRTMIN 


SIGRTMIN+3 38) SIGRTMIN+4 
SIGRTMIN+7 42) SIGRTMIN+8 
SIGRTMIN+11 46) SIGRTMIN+12 
SIGRTMIN+15 50) SIGRTMAX-14 
SIGRTMAX-11 54) SIGRTMAX-10 
SIGRTMAX-7 58) SIGRTMAX-6 
SIGRTMAX-3 62) SIGRTMAX-2 


范例 : 暂停 某 个 进程 
例如 ， 用 kill 命令 发 送 SITGSTOP 信号 给 某 个 


它 继续 运 # 丁 o 


$ Sleep 50 & 


程序 ， 让 它 暂停 ， 然 后 发 送 sIGCONT 信号 让 


个 前 台 进 程 执 行 CTRL+Z 操 作 


# 这 个 等 同 于 之 前 我 们 使 用 bg %1 操 作 让 一 个 后 台 进 程 运行 起 来 


# 在 当前 会 话 (Session) 下 ， 也 可 以 通过 作业 号 控制 进 


[1] 11441 

$ jobs 

[1]+ _ Running Sleep 50 & 

$ kil1 -S SIGSTOP 11441 # 这 个 等 同 于 我 们 对 一 

$ jobs 

[1]+ Stopped Sleep 50 

$ kil]1 -S SIGCONT 11441 

$ jobs 

[1]+ _ Running Sleep 50 & 

$ kill %1 

$ jobs 

[1]+ Terminated sleep 50 
可 见 kill 命令 提供 了 非常 好 的 功能 ， 不 过 它 只 


pkill 和 killall 提供 了 更 多 
程 的 方法 。 更 多 用 


: 查看 进 井 程 谍 出 状态 


能 根据 进程 的 ID 或 者 作业 来 控制 进程 ， 而 


选择 ， 它 们 扩展 了 通过 程序 名 甚至 是 进程 的 用 户 名 来 控制 进 
法 请 参考 它们 的 手册 。 


当 程 序 退 出 后 ， 如 何 判断 这 个 程序 是 正常 退出 还 是 异常 退出 呢 ? 还 记得 Linux 下 ， 那 个 经 典 

hello world 程序 吗 ? 在 代码 的 最 后 总 return 0 语 多。 这 个 return 9 实际 上 是 让 

0 进程 是 否 正 常 退 出 的 。 如 果 进 和 那么 可 以 肯定 地 说 这 
进程 异常 退出 了 ， 因 为 它 都 没有 执行 到 return 6 这 条 语句 就 退出 了 。 


那 怎 么 检查 进程 退出 的 状态 ， 即 那个 返回 的 数值 呢 ? 


在 shell 中， 可 以 检查 这 个 特殊 的 变量 $? ， 它 存放 了 上 一 条 命令 执行 后 的 退出 状态 。 


$ test1 

bash: test1: command not found 
$ echo $? 

127 

$ cat ./test.c | grep hello 
$ echo $7? 
1 
$ 


cat ./test.c | grep hi 
printf("hi, myself!\n"); 
$ echo $7? 
0 


貌似 返回 0 成 为 了 一 个 潜 规 则 ， 虽 然 没 有 标准 明确 规定 ， 不 过 当 程序 正常 返回 时 ， 总 是 可 以 
从 s? 中 检测 到 0， 但 是 异常 时 ， 总 是 检测 到 一 个 非 0 值 。 这 就 告诉 我 们 在 程序 的 最 后 最 好 
是 跟 上 一 个 exit 9 以 便 任 何人 都 可 以 通过 检测 $? 确定 程序 是 否 正 常 结束 。 如 果 有 一 天 ， 
有 人 偶尔 用 到 你 的 程序 ， 试 图 检查 它 的 退出 状态 ， 而 你 却 在 程序 的 末尾 莫名 地 返回 了 一 个 

-1 或 者 1， 那 么 他 将 会 很 苦恼 ， 会 怀疑 他 自己 编写 的 程序 到 底 哪个 地 方 出 了 问题 ， 检 查 半 天 
却 不 知 所 措 ， 因 为 他 太 信任 你 了 ， 竞 然 从 头 至 尾 都 没有 怀疑 你 的 编程 习惯 可 能 会 与 众 不 同 ! 


进程 通信 


为 便于 设计 和 实现 ， 通 常 一 个 大 型 的 任务 都 被 划分 成 较 小 的 模块 。 不 同 模块 之 间 局 动 后 成 为 
进程 ， 它 们 之 间 如 何 通信 以 便 交 互 数 据 ， 协 同 工 作 呢 ? 在 《UNIX 环境 高 级 编程 》 一 书 中 提 到 
很 多 方法 ? 诸如 管道 (无 名 管道 和 有 名 管道 ) 、 信 号 ( signal ) 、 报 文 ( Message ) 队列 
(消息 队列 ) 、 共 享 内 存 ( mmap/munmap ) 、 信 号 量 ( semaphore ， 主 要 是 同步 用 ， 进 程 之 
间 ， 进 程 的 不 同 线程 之 间 ) 、 套 接口 ( socket ， 支 持 不 同 机 器 之 间 的 进程 通信 ) 等 ， 而 在 
Shell 中 ， 通 常 直接 用 到 的 就 有 管道 和 信号 等 。 下 面 主要 介绍 管道 和 信号 机 制 在 Shell 编程 时 
的 一 些 用 法 。 


范例 : 无 名 管道 (pipe) 


在 Linux 下 ， 可 以 通过 | 连接 两 个 程序 ， 这 样 就 可 以 用 它 来 连接 后 一 个 程序 的 输入 和 前 一 个 
程序 的 输出 ， 因 此 被 形象 地 叫做 个 管道 。 在 C 语言 中 ， 创 建 无 名 管道 非常 简单 方便 ， 用 
pipe 函数 ， 传 入 一 个 具有 两 个 元 素 的 int 型 的 数组 就 可 以 。 这 个 数组 实际 上 保存 的 是 两 个 


文件 描述 符 ， 父 进程 往 第 一 个 文件 描述 符 里 头 写 入 东西 后 ， 子 进程 可 以 从 第 一 个 文件 描述 符 
中 读 出 来 。 


如 果 用 多 了 命令 行 ， 这 个 管子 | 应 该 会 经 常用 。 比 如 上 面 有 个 演示 把 ps 命令 的 输出 作为 
grep 命令 的 输入 


$ ps -ef | grep init 


也 许 会 觉得 这 个 “管子 "好 有 魔法 ， 竞 然 丨 地 能 够 链接 两 个 程序 的 输入 和 输出 ， 它 们 到 底 是 怎么 
实现 的 呢 ? 实际 上 当 输 入 这 样 一 组 命令 时 ， 当 前 Shell 会 进行 适当 的 解析 ， 把 前 面 一 个 进程 的 
输出 关联 到 管道 的 输出 文件 描述 符 ， 把 后 面 一 个 进程 的 输入 关联 到 管道 的 输入 文件 描述 符 ， 
这 个 关联 过 程 通 过 输入 输出 重 定向 函数 dup (或 者 fcnt1 ) 来 实现 。 


范例 : 有 名 管道 (named pipe) 


有 名 管道 实际 上 是 一 个 文件 (无 名 管道 也 像 一 个 文件 ， 虽 然 关系 到 两 个 文件 描述 符 ， 不 过 只 
能 一 边 读 另 外 一 边 写 ) ， 不 过 这 个 文件 比较 特别 ， 操 作 时 要 满足 先进 先 出 ， 而 且 ， 如 果 试 图 
读 一 个 没有 内 容 的 有 名 管道 ， 那么 就 会 被 阻塞 ， 同 样 地 ， 如 果 试 图 往 一 个 有 名 管道 里 写 东 
西 ， 而 当前 没有 程序 试图 读 它 ， 也 会 被 阻塞 。 下 面 看 看 效果 。 


$ mkfifo fifo_test # 通 过 mkfifo 命 令 创建 一 个 有 名 管道 

$ echo "fewfefe" > fifo_ test 

# 试 图 往 fifo_test 文 件 中 写 入 内 容 ， 但 是 被 阻塞 ， 要 另 开 一 个 终端 继续 下 面 的 操作 

$ cat fifo_test # 另 开 一 个 终端 ， 记 得 ， 另 开 一 个 。 试 图 读 出 fifo_test 的 内 容 
fewfefe 


这 里 的 echo 和 cat 是 两 个 不 同 的 程序 ， 在 这 种 情况 下 ， 通 echo 和 cat 启动 的 两 个 
进程 之 间 并 没有 父子 关系 。 不 过 它们 依然 可 以 通过 有 名 管 es 


这 样 一 种 通信 方式 非常 适合 某 些 特定 情况 : 例如 有 这 样 一 个 架构 ， 这 个 架构 由 两 个 应 2 
构成 ， 其 中 一 个 通过 寸 循环 不 断 读 取 fifo_test 中 的 内 容 以 便 判 断 了 它 下 一 步 要 做 什么 

果 这 个 管道 没有 内 容 ， 那 么 它 就 会 被 阻塞 在 那里 ， 而 不 会 因 死 循 环 而 耗费 资源 ， 另 外 一 个 则 
作为 一 个 控制 程序 不 断 地 往 fifo_test 中 写 入 一 些 控制 信息 ， 以 便 告 诉 之 前 的 那个 程序 该 做 
什么 。 下 面 写 一 个 非常 简单 的 例子 。 可 以 设计 一 些 控制 码 ， 然 后 控制 程序 不 断 地 往 

fifo_test 里 头 写 入 ， 然 后 应 用 程序 根据 这 些 控 制 码 完 成 不 同 的 动作 。 当 然 ， 也 可 以 往 
fifo_test 传 入 除 控制 码 外 的 其 他 数据 。 


e@ 应 用 程序 的 代码 


$ cat app.sh 
#!/bin/bash 


FIFO=fifo_test 
while :; 
do 


CI= cat $FIFO. 


case $CI in 


0) echo 
ee 
有 
oar ~ 
done 
控制 程序 的 代码 


#CI --> Control Info 


"The CONTROL number is ZERO, do Something ..." 
"The CONTROL number is ONE, do something ..." 


"The CONTROL number not recognized, do something else..." 


$ cat control.sh 


#!/bin/bash 


FIFO=fifo_test 
CI=$1 


ICT 


echo "the control info should not be empty" && exit 


echo $CI > $FIFO 


次 
过 管道 
过 官 遂 


e 一 个 程序 通 


$ chmod +x app.sh control.sh 
# 在 一 个 终端 启动 这 个 应 用 程序 ， 在 通 
number is ONE, do something ... 


$ ./app.sh 

The CONTROL 
The CONTROL 
The CONTROL 
$ ./control. 
$ ./control. 
$ ./control. 


这 样 一 种 应 用 架构 非常 


number is ZERO, do Something ... 
number not recognized, do something else... 
sh 1 
sho 
sh 4343 


制 另 外 一 个 程序 的 工作 


ei 序 的 可 执行 权限 ， 以 便 用 户 可 以 执行 它们 

过 ,/control. sh 发 送 控 制 码 以 后 查看 输出 

# 发 送 1 以 后 

# 发 送 9 以 后 

# 发 送 一 个 未 知 的 控制 码 以 后 


# 在 另外 一 个 终端 ， 发 送 控制 信息 ， 控 制 应 用 程序 的 工作 


控制 的 要 求 。 引 入 web cgi 的 唯一 改变 是 ， 要 把 控制 程序 


目录 下 ， 并 对 它 作 一 些 修 改 ， 以 使 它 符合 
(在 文件 开头 需要 输出 ”content-tpye: 
输入 参数 都 存放 在 ”QUERY_STRING 环境 变量 里 头 ) 
写成 这 样 : 


适合 本 地 的 多 程序 任务 设计 ， 如 果 结 合 web cgi ， 那 么 也 将 适合 远程 
./control,sh 放 到 web 的 cgi 
cGI 的 规范 ， 这 些 规范 包括 文档 输出 格式 的 表示 


text/html 以 及 一 个 空白 行 ) 和 输入 参数 的 获取 (web 


。 因 此 一 个 非常 简单 的 c6I 控制 程序 可 以 


#!/bin/bash 


FIFO=./fifo_test 
CI=$QUERY_STRING 


[ -z "$CI" ] && echo "the control info should not be empty" && exit 


echo -e "content-type: text/html\n\n" 
echo $CI > $FIFO 


在 实际 使 用 时 ， 请 确保 control.sh 能 够 访问 到 fifo_test 管道 ， 并 且 有 写 权 限 ， 以 便 通 
制 app.sh 


http://ipaddress\ or\ dns/cgi-bin/control.sh?0 


问号 ? 后 面 的 内 容 即 QUERY_STRING ， 类 似 之 前 的 $1 。 


这 样 一 种 应 用 对 于 远程 控制 ， 特 别 是 秦 入 A ne 很 有 实际 意义 。 在 去 年 的 暑期 课 
程 上 ， ee 达 的 远程 控 和 Se 简单 的 应 用 程序 
以 便 控 制 马达 的 转动 ， 包 括 转 速 ， 方 向 等 的 控制 。 为 实现 远程 控制 ， 我 们 设计 了 一 些 控制 
码 ， 以 便 控 制 马 达 转 动 相关 的 不 同属 性 。 


在 C 语言 中 ， 如 果 要 使 用 有 名 管道 ， 和 Shell 类 似 ， 只 不 过 在 读 写 数据 时 用 read ， write 
调用 ， 在 创建 fifo 时 用 mkfifo se o 


范例 : 信号 (Signal) 


信号 是 软件 中 断 ，Linux 用 户 可 以 通过 kill 命令 给 某 个 进程 发 送 一 个 特定 的 信号 ， 也 可 以 通 
过 键盘 发 送 一 些 信号 ， 比 如 CTRL+C 可 能 触发 SGIINT 信号 ， 而 CTRL+\ 可 能 触发 sGIQUIT 
信号 等 ， 除 此 之 外 ， 内 核 在 某 些 情况 下 也 会 给 进程 发 送信 号 ， 比 如 在 访问 内 存 越界 时 产生 
SGISEGV 人 信号， 当然， ee 过 kill ，raise 等 函数 给 自己 发 送信 号 。 对 于 
Linux 下 支持 的 信号 类 型 ， 大 家 可 以 通 man 7 signal 或 者 kill -1 查看 到 相关 列表 和 说 
明 。 


会 有 默认 的 响应 动作 ， 而 有 些 信号 ， 进 程 可 能 直接 会 忽略 ， 当 然 ， 用 户 

专门 的 处 理 函 数 。 在 Shell 中 ， We trap 命令 (Shell 内 置 命 

( 某 个 命令 或 者 定义 的 某 个 函数 ) ， 而 在 C 语言 中 可 以 通过 
信号 的 处 理 函 数 。 这 里 仅仅 演示 trap 命令 的 用 法 。 


对 于 有 些 信号 ， 
此 个 


令 ) 来 设 定 响应 
signal 0 


信 


$ function signal _ handler { echo "hello,，world."; }# 定 义 Signal_handler 有 函数 
$ trap signal handler SIGINT # 执 行 该 命令 设 定 : 收 到 SIGINT 信 号 时 打印 hello,，world 
$ hello, world # 按 下 CTRL+C， 可 以 看 到 屏幕 上 输出 了 hello，world 字 符 串 


类 似 地 ， 如 果 设 定 信号 0 的 响应 动作 ， 那 么 就 可 以 用 trap 来 模拟 C 语言 程序 中 的 atexit 
程序 终止 函数 的 登记 2 即 通 过 trap signal_ handler SIGQUIT 设 定 的 signal_handler 函数 将 
在 程序 退出 时 执行 。 信 号 0 是 一 个 特别 的 信号 ， 在 PosIX.1 中 把 信号 编号 0 定义 为 空 信号 ， 
这 常 被 用 来 确定 一 个 特定 进程 是 否 仍旧 存在 。 当 一 个 程序 退出 时 会 触发 该 信号 


$ cat sigexit.sh 
#!/bin/bash 


function signal handiler { 
echo "hello, world" 


} 

trap signal handler 0 

$ chmod +x sigexit.sh 

$ ./sigexit.sh # 实 际 Shell 编 程 会 用 该 方式 在 程序 退出 时 来 做 一 些 清理 临时 文件 的 收尾 工作 
hello, world 


作业 和 作业 控制 


当 我 们 为 完成 一 些 复杂 的 任务 而 将 多 个 命令 通过 |,\>,<，;，(,) a 
命令 序列 会 启动 多 个 进程 ， 它 们 间 通 过 管道 等 进行 通信 。 而 有 时 在 执行 一 个 任务 的 同时 ， 
有 其 他 的 任务 需要 处 理 ， 那 么 就 经 常会 在 命令 序列 的 最 后 加 上 一 个 &， 或 者 在 执行 命令 后 ， 


通 
等 


下 CTRL+Z 让 前 一 个 命令 暂停 。 Cs 等 做 完 其 他 一 些 任 务 以 后 ， 再 通过 fg 
命令 把 后 台 任务 切换 到 前 台 。 这 样 一 种 控制 过 程 通常 被 成 为 作业 控制 ， 而 那些 命令 序列 则 被 


成 为 作业 ， 这 个 作业 可 能 涉及 一 个 或 者 多 ， ， 一 个 或 者 多 个 进程 。 下 面 演示 一 下 几 个 常 
用 的 作业 控制 操作 。 


范例 : 创建 后 台 进 程 ， 获 取 进 程 的 作业 号 和 进程 号 


$ Sleep 50 & 
[1] 11137 


范例 : 把 作业 调 到 前 台 并 暂停 


使 用 Shell 内 置 命令 fg 把 作业 1 调 到 前 台 运 行 后 按 下 cTRL+zZ 让 该 进程 暂停 
$ fg %1 
sleep 50 
人 ^Z 
[1]+ Stopped sleep 50 


范例 : 查看 当前 作业 情况 


$ jobs # 查 看 当前 作业 情况 ， 有 一 个 作业 停止 


[1]+ Stopped 0 
$ sleep 100 & # 让 另外 一 个 作业 在 后 台 运 行 

[2] 11138 

$ jobs # 查 看 当前 作业 情况 ， 一 个 正在 运行 ， 一 个 停止 
[1]+ Stopped a 

a sleep 100 & 


$ bg %1 
[2]+ sleep 50 & 


不 过 ， 要 在 命令 行 下 使 用 作业 控制 ， 需 要 当前 Shell， 内 核 终 端 驱 动 等 对 作业 控制 支持 才 行 。 


e 《UNIX 环境 高 级 编程 》 


网 络 操 作 


e@ 前 言 
e@ 网 络 原 理 介 绍 
o 我 们 的 网 络 世界 
o 网 络 体系 结构 和 网 络 协议 介绍 
e Linux 下 网 络 " 实 战 ” 
o 如 何 把 我 们 的 Linux 主机 接 入 网 络 
范例 : 通过 dhclient 获 取 IP 地 址 
@ 范例 : 静态 配置 I|P 地 址 
o 用 Linux 搭建 网 桥 
o 用 Linux 做 路 由 
o 用 Linux 搭建 各 种 常规 的 网 络 服务 
o Linux 下 网 络 问 题 诊 断 与 维护 
e Linux 下 网 络 编程 与 开发 
e 后 记 
。 参考 资料 


前 面 章节 已 经 介绍 了 Shell 编 程 范例 之 数值 、 布 尔 值 、 字 符 串 、 文 件 、 文 件 系统 、 进 程 等 的 操 
作 。 这 些 内 容 基 本 履 盖 了 网 络 中 某 个 独立 机 器 正常 工作 的 “方方面面 "， 现 在 需要 把 视角 从 单一 
的 机 器 延伸 到 这 些 机 器 通过 各 种 网 络 设备 和 协议 连接 起 来 的 网 络 世 界 ， 分 析 网 络 拓扑 结构 、 
网 络 工作 原理 、 了 解 各 种 常见 网 络 协议 、 各 种 常见 硬件 工作 原理 、 网 络 通信 与 安全 相关 软件 
以 及 工作 原理 分 析 等 。 


“过 ， 因 为 网 络 相 关 的 问题 确实 太 复 杂 了 ， 这 里 不 可 能 介绍 具体 ， 因 此 如 果 想 了 解 更 多 细 

节 ， 还 是 建议 参考 相关 资料 。 但 Linux 是 一 个 网 络 原理 学 习 和 实践 的 好 平台 ， 不 仅 因 为 它 本 身 
对 网 络 体系 结构 的 实现 是 开放 源 代 码 的 ， 而 且 各 种 相关 的 分 析 工 具 和 函数 库 数 不 胜 数 ， 因 
此 ， 如 果 你 是 学 生 ， 千 万 不 要 错过 通过 它 来 做 相关 的 实践 工作 。 


网 络 原理 介 


我 们 的 网 络 世 界 


网 络 操作 


在 进行 所 有 介绍 之 前 ， 来 直观 地 感受 一 下 那个 丨 丨 实 实 存 在 的 网 络 世界 吧 。 当 我 在 Linux 下 

过 web 编辑 器 写 这 篇 Blog 时 ， 一 边 用 mplayer 听 着 远程 音乐 ， 累 了 时 则 打开 兰 大 的 网 
络 TV 频道 开始 看 看 凤凰 卫视 ...... 这 些 “ 现 代 化 "的 生活 ， 我 想 ， 如 果 没 有 网 络 ， 将 变 得 无 法 
想象。 


下 面 来 构想 一 下 这 样 一 个 网 络 世 界 的 优美 图 画 
边 盯 着 显示 器 ， 一 边 艇 击 着 键盘 ， 一 边 挂 着 耳机 。 


主机 电源 灯 灿 烂 得 很 ， 发 着 绿 光 ， 这 时 很 容易 想象 主机 背后 的 那个 网 卡 位 置 肯 定 有 两 个 
不 同 颜 色 的 灯光 在 闪烁 ， 它 显示 着 主机 正在 与 计算 机 网 络 世界 打 着 交道 。 


就 在 实验 室 的 某 个 角落 ， 有 一 个 交换 机 上 的 一 个 网 口 的 网 线 连 到 主机 上 ， 这 个 交换 机 接 
到 了 一 个 局 域 网 的 网 关上 ， 然 后 这 个 网 关 再 接 到 了 信息 楼 的 某 个 路 由 器 上 ， 村 学 
校 网 络 中 心 的 另外 一 个 路 由 器 上 ...... 


期 间 ， 有 一 个 路 由 器 连接 到 了 这 个 Blog 服务 器 上 ， 而 另外 一 We 到 了 那个 网 络 
TV 服务 器 上 ， 还 有 呢 ， 另 外 一 些 则 连接 到 了 电信 网 络 里 头 的 茶 个 音乐 服务 器 上 ...... 


下 面 用 dia 绘制 一 个 简单 的 “网 络 地 图 ”: 


Wg WWW Server(Blog) 











DNS Server 


Firewa ll/NAT 





MMS Server(TV) 


DHCP Server 


该 图 把 一 些 最 常见 的 网 络 设备 和 网 络 服务 基本 都 呈现 出 来 了 ， 包 括 本 地 主机 、 路 由 、 交 换 
机 、 网 桥 ， 域 名 服务 器 ， 万 维 网 服务 ， 视 频 服务 ， 防 火 墙 服务 ， 动 态 IP 地 址 服务 等 。 其 中 
各 种 设备 构成 了 整个 物理 网 络 ， 而 网 络 服务 则 是 构建 在 这 些 设备 上 的 各 种 网 络 应 用 。 


现在 的 网 络 应 用 越 来 越 丰富 多 样 ， 比 如 即时 聊天 ( IM ) 、 p2p 资源 共享 、 网 络 搜索 等 
们 是 如 何 实 现 J ， ee ， sw 
这 取决 于 这 背后 逐步 完善 的 网 络 体系 结 构 和 各 种 相关 网 络 协议 的 开发 、 实 现 和 应 用 
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网 络 体系 结构 和 网 络 协议 介绍 
那么 网 络 体系 结构 是 怎么 样 的 呢 ? 涉及 到 哪些 相关 的 网 络 协 议 呢 ? 什么 又 是 网 络 协 议 呢 ? 


在 《计算 机 网 络 自 顶 向 下 的 方法 》 一 书 中 非常 巧妙 地 给 出 了 网 络 体系 结构 分 层 的 比喻 ， 
把 网 络 中 各 层 跟 交 通 运输 体系 中 的 各 个 环节 对 照 起 来 ， 让 人 通俗 易 慌 。 在 交通 运输 体系 中 ， 
运输 的 是 人 和 物品 ， 在 计算 机 网 络 体 系 中 ， 运 输 的 是 电子 数据 。 考 虑 到 交通 运输 网 络 和 计算 
机 网 络 中 最 终 都 可 以 划 归 为 点 对 点 的 信息 传输 。 这 里 考虑 两 点 之 间 的 信息 传递 过 程 ， 得 到 这 
样 一 个 对 照 关 系 ， 见 下 图 : 
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对 照 上 图 ， 更 容易 理解 右 侧 网 络 体系 结构 的 分 层 原 理 (如 果 比 照 一 封 信 发 出 到 收 到 的 这 一 中 
间 过 程 可 能 更 容易 理解 ) ， 上 图 右 侧 是 TcP/IP 网 络 体系 结构 的 一 个 网 络 分 层 示 意图 ， 在 把 
数据 发 送 到 网 络 之 前 ， 在 各 层 中 需要 进行 各 种 "打包 "的 操作 ， 而 从 网 络 接收 到 数据 后 ， 就 需要 
进行 “ 解 包 ? 操 作 ， 最 终 把 纯粹 的 数据 信息 给 提取 出 来 。 这 种 分 层 的 方式 是 为 了 传输 数据 的 需 
要 ， 也 是 两 个 主机 之 间 如 何 建 立 连 接 以 及 如 何 保证 数据 传输 的 完整 性 和 可 人 靠 性 的 需要 。 通 过 
把 各 种 需要 分 散在 不 同 的 层次 ， 使 得 整个 体系 结构 更 加 清晰 和 明了 。 这 些 “ 需 求 " 具 体 通 过 各 种 
对 应 的 协议 来 规范 ， 这 些 规 范 统 成 为 网 络 协议 。 


关于 ost 模型 (7 层 ) 比照 Tcp/IP 模型 (4 层 ) 的 协议 栈 可 以 从 下 图 (来 自 网 络 ) 看 个 明 
了 : 


网 络 操作 


Application Applications 


一 一 -~ 





而 下 图 (来 自 网 络 ) 则 更 清晰 地 体现 了 Tcp/IP 分 层 模 型 。 
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上 面 介绍 了 网 络 原理 方面 的 基本 内 容 ， 如 果 想 了 解 更 多 网 络 原理 和 操作 系统 对 网 络 支持 的 实 
现 ， 可 以 考虑 阅读 后 面 的 参考 资料 。 下 面 将 做 一 些 实践 ， 即 在 Linux 下 如 何 联网 ， 如 何 用 
Linux 搭建 各 种 网 络 服务 ， 并 进行 网 络 安全 方面 的 考量 以 及 基本 的 网 络 编程 和 开发 的 介绍 。 


Linux 下 网 络 “实战 ?” 
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如 何 把 我 们 的 Linux 主机 接 入 网 络 


如 果 要 让 一 个 系统 能 够 联网 ， 首 先 当 然 是 搭建 好 物理 网 络 了 。 接 入 网 络 的 物理 方式 还 是 蛮 多 
的 ， 比 如 直接 用 网 线 接 入 以 太 网 ， 用 无 线 网 卡 上 网 ， 用 ADSL 拨号 上 网 ...... 


对 于 用 以 太 网 网 卡 接 入 网 络 的 常见 方式 ， 在 搭建 好 物理 网 络 并 确保 连接 正常 后 ， 可 以 通过 配 
置 IP 地 址 和 默认 网 关 来 接 入 网 络 ， 这 个 可 以 通过 手工 配置 和 动态 获取 两 种 方式 。 

范例 : 通过 dhclient 获 取 IP 地 址 

如 果 所 在 的 局 域 网 有 phHcp 服务 ， 那 么 可 以 这 么 获取 ，N 是 设备 名 称 ， 如 果 只 有 一 块 网 卡 ， 
一 般 是 0 或 者 1。 


$ dhclient ethN 


范例 : 静态 配置 IP 地 址 


当然 ， 也 可 以 考虑 采用 静态 配置 的 方式 ” ip_address 是 本 地 主机 的 IP 地 
址 ， gw ip_ address 是 接 入 网 络 的 网 关 的 IP 地 址 。 


$ ifconfig etho ip_address on 
$ route add deafult gw gw_ip_address 


如 果 上 面 不 工作 ， 记 得 通过 ifconfig/mii-tool/ethtool 等 工具 检查 网 卡 是 否 有 被 驱动 起 来 ， 
然后 通过 lspci/dmesg 等 检查 网 卡 类 型 (或 者 通过 主板 手册 和 独立 网 卡 自 带 的 手册 查看 ) 2 
接着 安装 或 者 编译 相关 驱动 ， 最 后 把 驱动 通过 insmod/modprobe 等 工具 加 载 到 内 核 中 。 


用 Linux 搭建 网 桥 


网 桥 工作 在 osI 模型 的 第 二 层 ， 即 数据 链 路 层 ， 它 只 需要 知道 目标 主机 的 MAC 地 址 就 可 以 
工作 。 Linux 内 核 在 2.2 开始 就 已 经 支持 了 这 个 功能 ， 有 具体 怎么 配置 看 看 后 续 参 考 资料 吧 。 
如 果 要 把 Linux 主机 配置 成 一 个 网 桥 ， 至 少 需要 两 个 网 卡 。 


网 桥 的 作用 相当 于 一 根 网线 ， 用 户 无 须 关心 里 头 有 什么 东西 ， 把 它 的 两 个 网 口 连接 到 两 个 主 
机 上 就 可 以 让 这 两 个 主机 支持 相互 通信 。 不 过 它 比 网 线 更 厉害 ， 如 果 配 上 防火 墙 ， 就 可 以 隔 
离 连接 在 它 两 端的 网 段 (注意 这 里 是 网 络 ， 因 为 它 不 识别 IP ) ， 另 外 ， 如 果 这 个 网 桥 有 多 
个 网 口 ， 那 么 可 以 实现 一 个 功能 复杂 的 交换 机 ， 而 如 果 有 效 组 合 多 个 网 桥 ， 则 有 可 能 实现 一 
个 复杂 的 可 实现 流量 控制 和 负载 平衡 的 防火 墙 系统 。 


用 Linux 做 路 由 


路 由 工作 在 osIT 模型 的 第 三 层 ， 即 网 络 层 ， 通 过 router 可 以 配置 Linux 的 路 由 ， 当 然 ， 
Linux 下 也 有 很 多 工具 支持 动态 路 由 的 。 相 关 的 资料 在 网 路 中 铺天盖地 ， 由 于 时 间 关 系 ， 这 里 
不 做 介绍 。 


用 Linux 搭建 各 种 常规 的 网 络 服 务 


需要 什么 网 络 服务 呢 ? 


。 给 局 域 网 弄 个 pcp 服务 器 ， 那 就 弄 个 dhcpd ， 看 看 参考 资料 ; 

e 如 果 想 弄 个 邮件 发 送 服务 器 ， 那 就 安装 个 sendmail 或 者 exim4 ; 

e@ 如 果 再 想 弄 个 邮件 列表 服务 器 呢 ， 那 就 装 个 mailman ; 

e 如 果 想 弄 个 接收 邮件 的 服务 器 呢 ， 那 就 安装 个 pop3 服务 器 ; 

e。 如果 想 型 个 web 站 点 ， 那 就 再 个 apache 或 者 nginx 服务 器 ; 

e。 如果 想 型 上 防火 墙 服务 ， 那 么 通过 iptables 工具 配置 netfilter 就 可 以 


What's more ? 如 果 你 能 想到 ，Linux 上 基本 都 有 相应 的 实现 。 


Linux 下 网 络 问 题 诊断 与 维护 


如 果 出 现 网 络 问 题 ， 不 要 惊慌 ， 和 逐步 检查 网 络 的 各 个 层次 : 物理 链接 、 链 路 层 、 网 络 层 直到 
应 用 层 ， 熟 悉 使 用 各 种 如 下 的 工具 ， 包 括 


ethereal/tcpdump ? hping ? nmap ，”， netstat ? netpipe ， netperf ， vnstat ? ntop 


和 大生 


村 “。 


关于 这 些 工具 的 详细 用 法 和 网 络 问 题 诊 断 和 维护 的 相关 知识 ， 请 看 后 续 相 关 资 料 。 


Linux 下 网 络 编程 与 开发 


如 果 想 做 网 络 编程 开发 ， 比 如 : 


e 要 实现 一 个 客户 端 / 服务 器 架构 的 应 用 ， 可 以 采用 Linux 下 的 socket 编程 了 ; 

e。 如 果 想 写 一 个 数据 包 抓获 和 协议 分 析 的 程序 ， 可 以 采用 libpap 等 函数 库 ; 

e。 如 果 想 实现 某 个 协议 呢 ， 那 就 可 以 参考 相关 的 RFC 文档 ， 并 通过 socket 编程 来 实 
现 。 


这 个 可 以 参考 相关 的 Linux socket 编程 等 资料 。 


大 放 


本 来 介绍 网 络 相关 的 一 些 基本 内 容 ， 但 因 时 间 关 系 ， 没 有 详 述 ， 更 多 细节 请 参考 相关 资料 。 


到 这 里 ， 整 个 《Shell 编 程 范例 》 算 是 很 粗略 地 完成 了 ， 不 过 “范例 ” 却 缺 少 实例 ， 特 别 是 这 一 
节 。 因 此 ， 如 果 时 间 允 许 ， 会 逐步 补充 一 些 实例 。 


参考 资料 


。 计算 机 网 络 一 一 自 上 而 下 的 分 析 方 法 

。 Linux 网 络 体系 结构 (清华 大 学 出 版 社 出 版 ) 

。 Linux 系统 故障 诊断 与 排除 第 13 章 网 络 问题 (人 民 邮 电 出 版 社 ) 
。 在 Linux 下 用 ADSL 拨号 上 网 

e。 Linux 下 无 线 网 络 相关 资料 收集 

e Linux 网 桥 的 实现 分 析 与 使 用 

e。 DHCP mini howto 

。 最 佳 的 75 个 安全 工具 

e@ 网 络 管理 员 必 须 掌握 的 知识 

。 Linux 上 检测 rootkit 的 两 种 工具 : Rootkit Hunter 和 Chkrootkit 
e。 数据 包 抓获 与 ip 协议 的 简单 分 析 (基于 pcap 库 ) 

e RFC 

e HTTP 协议 的 C 语言 编程 实现 实例 
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e 用 户 帐 号 
o 添加 
o 删除 
o 修改 
e 用 户口 令 
o 设置 
o 删除 
o 修改 
o 人 禁用 
用 户 组 别 
o 添加 
o 删除 
o 修改 
e 用 户 和 组 
o 增加 
o 删除 
用 户 切 换 
o 切换 帐号 
o 免 密码 切 到 Root 


在 初次 撰写 本 书 时 ， 都 只 讨论 到 了 " 物 ”， 而 没有 关注 * 人 ”。 而 在 实际 使 用 中 ，Linux 系统 首先 
是 面向 用 户 的 系统 ， 所 有 之 前 介绍 的 内 容 全 部 是 提供 给 不 同 的 用 户 使 用 的 。 实 际 使 用 中 常常 
碰 到 各 类 用 户 操作 ， 所 以 这 里 添加 一 个 独立 的 章节 来 介绍 。 

Linux 支持 多 用 户 ， 也 就 是 说 允许 不 同 的 人 使 用 同一 个 系统 ， 每 个 人 有 一 个 属于 自己 的 帐号 。 
而 且 允 许 大 家 设置 不 同 的 认证 密码 ， 确 保 大 家 的 私有 信息 得 到 保护 。 另 外 ， 为 了 确保 整个 系 
统 的 安全 ， 用 户 权限 又 做 了 进一步 划分 ， 包 括 普通 用 户 和 系统 管理 员 。 普 通用 户 只 允许 访问 
自己 账户 授权 下 的 信息 ， 而 系统 管理 员 才 能 访问 所 有 资源 。 普 通用 户 如 果 想 行使 管理 员 的 职 
能 ， 必 须 获 得 系统 管理 员 的 许可 。 

为 避免 分 散 注 意 力 ， 咱 们 不 去 介绍 背后 的 那些 数据 文件 : 

/etc/passwd ? /etc/shadow ， /etc/group ， /etc/gshadow 

如 果 确 实 有 需要 ， 大 家 可 通过 如 下 命令 查看 帮助 : man 5 passwd ， man shadow ，man group 


和 man gshadow 


下 面 我 们 分 如 下 几 个 部 分 来 介绍 : 


用 户 帐号 
用 户口 令 
用 户 组 别 
用 户 和 组 
用 户 切 换 


> 2 吴 
用 户 帐 号 
帐号 操作 主要 是 增 、 删 、 改 、 禁 。Linux 系统 提供 了 底层 的 useradd ，userdel 和 usermod 


来 完成 相关 操作 ， 也 提供 了 进一步 的 简化 封装 : adduser ， deluser ° 为 了 避免 混淆 ， 咱 们 这 
里 只 介绍 最 底层 的 指令 ， 这 些 指令 设计 上 已 经 够 简洁 明了 方便 。 


由 于 只 有 系统 管理 员 才 能 创建 新 用 户 ， 请 确保 以 root 帐号 登录 或 者 可 以 通过 sudo 切换 为 管 
理 员 帐 号 。 


创建 家 目录 并 指定 登录 Shell : 


# useradd -s /bin/bash -m test 
# groups test 
test : test 


并 加 入 所 属 组 : 


# useradd -s /bin/bash -m -G docker test 
# groups test 
test : test docker 


删除 用 户 以 及 家 目录 等 : 


# userdel -r test 
修改 


常常 用 来 修改 默认 的 Shell : 


# USermod -s /bin/bash test 


或 者 把 用 户 加 入 某 个 新 安装 软件 所 属 的 组 : 
# USermod -a -G docker test 


修改 登录 用 户 名 并 搬 到 新 家 


# USermod -d /home/new test -m -1 new _ test test 


如 果 想 禁用 某 个 帐号 : 


# USermod -L test 
# USsermod --expiredate 1 test 


有 中 是 

口令 操作 主要 是 设置 、 删 除 、 修 改 和 禁用 。Linux 系统 提供 了 passwd 命令 来 管理 用 户口 令 。 
设置 

设置 用 户 test 的 初始 密码 : 


$ passwd test 

Enter new UNIX password : 

Retype new UNIX password : 

passwd: password updated successfully 


让 用 户 test 无 须 密码 登录 (密码 为 空 ) 


$ passwd -d test 


这 个 很 方便 某 些 安全 无 关 紧 要 的 条 件 下 (比如 已 登录 主机 中 的 虚拟 机 ) ， 可 避免 每 次 频繁 输 
入 


密码 。 


$ passwd test 

Changing password for test. 

(current) UNIX password: 

Enter new UNIX password: 

Retype new UNIX password: 

passwd: password updated successfully 


$ passwd - user 


为 了 安全 起 见 或 者 为 了 避免 暴力 破解 ， 我 们 通常 可 以 禁用 密码 登录 ， 而 只 允许 通过 SSH Key 
登录 。 


如 果 要 引 地 禁用 整 个 帐号 的 使 用 ， 需要 用 上 一 节 提 到 | 的 usermod --expiredate 1 ° 


用 户 组 别 


类 似 帐号 ， 主 要 操作 也 是 增 、 删 、 改 。 


Linux 系统 提供 了 底层 的 groupadd ，groupdel 和 groupmod 来 完成 相关 操作 ， 也 提供 了 进 一 
步 的 简化 封装 : addgroup ，delgroup ° 


用 户 组 别 通常 用 来 管理 不 同 的 资源 ， 确 保 只 有 某 个 组 别 的 用 户 才 可 以 访问 某 类 资源 。 当 然 ， 
实际 案例 中 ， 有 些 软 件 也 为 自己 定义 一 个 组 别 ， 只 有 该 组 别 的 用 户 才 能 访问 该 软件 的 一 些 功 


会 已 
月 已 2 


添加 
添加 一 个 新 组 别 : 


# groupadd test 


修改 组 别名 : 


# groupmod -n new_test test 


用 户 和 组 

用 户 和 组 别 不 能 独立 存在 ， gpasswd 可 以 用 来 处 理 两 者 的 关系 。 
增加 

从 docker 组 中 增加 用 户 test (等 同 于 把 test 增加 到 docker 组 中 ) 


# gpasswd -a test docker 
或 


# USermod -a -G docker test 


从 test 组 中 删除 用 户 test : 


# gpasswd -d test test 


用 户 切 换 


由 于 支持 多 用 户 ， 那 么 在 登录 一 个 帐号 后 ， 可 能 需要 切换 到 另外 一 个 帐号 下 ， 可 以 通过 su 
命令 完成 ， 而 sudo 则 可 以 用 来 作为 另外 一 个 用 户 来 执行 命令 。 


切换 帐号 
切换 到 Root 并 启用 Bash : 


$ Su -s /bin/bash - 
root@falcon-desktop:~# 


切换 到 普通 用 户 : 


$ Su -s /bin/bash - test 
test@falcon-desktop:~$ 


或 者 


$ sudo -i -u test 
test@falcon-desktop:~$ 


免 密码 切 到 Root 
首先 得 把 用 户 加 入 到 sudo 用 户 组 : 


# Usermod -a -G sudo falcon 


否则 ， 会 看 到 如 下 信息 : 


$ sudo -s 
[sudo] password for test: 
test is not in the sudoers file. This incident will be reported. 


加 入 Sudo 用 户 组 以 后 : 


$ sudo -s 
[sudo] password for test: 


要 实现 免 密切 换 ， 需 要 先 修改 /etc/sudoers ， 加 入 如 下 一 行 : 
test ALL=(ALL) NOPASSWD: ALL 


或 者 在 /etc/sudoers.d/ 下 创建 一 个 文件 并 加 入 上 述 内 容 。 


# echo "test ALL=(ALL) NOPASSWD: ALL" > /etc/sudoers.d/test 
# chmod 440 /etc/sudoers.d/test 


e 前 言 

e Shell 编程 范例 回顾 

e 常用 Shell 编程 “框架 ” 
e 程序 优化 技巧 

@ 其 他 注意 事项 


到 这 里 ， 整 个 Shell 编程 系列 就 要 结束 了 ， 作 为 总 结 篇 ， 主 要 回顾 一 下 各 个 小 节 的 主要 内 容 ， 


并 总 结 出 Shell 编程 的 一 些 常 用 框架 和 相关 注意 事项 等 。 


Shell 编程 蕊 例 回 顾 


TODO : 主要 回顾 各 小 节 的 内 容 。 


常用 Shell 编程 “框架 ” 


程序 优化 技巧 
TODO : 多 思考 ， 总 会 有 更 简洁 和 高 效 的 方式 。 
其 他 注意 事项 
TODO : 比如 小 心 rm -rf 的 用 法 ， 如 何 查 看 系统 帮助 等 。 


正确 使 用 Source 和 


实例 总 结 各 种 常见 问题 的 解决 办 法 ， 比 如 如 何 保 证 同一 时 刻 每 个 
) 


程序 只 


仅 使 用 source 和 ， 来 执行 你 的 环境 配置 等 功能 ， 建 议 不 要 用 于 其 它 用 途 。 在 Shell 中 使 用 
脚本 时 ， 使 用 bash your_script.sh 而 不 是 source your_script.sh 或 , your_script.sh ° 


当 使 用 bash 的 时 候 ， 当 前 的 Shell 会 创建 一 个 新 的 子 进程 执行 你 的 脚本 ; 当 使 用 source 和 
时 ， 当 前 的 Shell 会 直接 解释 执行 your_script.sh 中 的 代码 。 如 果 your_script.sh 中 包 
含 了 类 似 exit 6 这 样 的 代码 ， 使 用 source 和 ， 执 行 会 导致 当前 Shell 意 外 地 退出 。 
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这 是 作者 早期 的 Shell 编程 学 习 笔 记 ， 主 要 包括 Shell 概述 、Shell 变量 、 位 置 参数 、 特 殊 符 
号 、 别 名 、 各 种 控制 语句 、 郊 数 等 Shell 编程 知识 。 


要 想 系统 地 学 Shell， 应 该 找 些 较 系 统 的 资料 ， 例 如 : 《Shell 编程 范例 》 和 《 乌 哥 学 习 Shell 
Scripts》。 


执行 Shell 脚本 的 方式 
范例 : 输入 重 定 向 到 Bash 
$ bash < ex1 
可 以 读 入 exl 中 的 程序 ， 并 执行 
范例 : 以 脚本 名 作为 参数 
其 一 般 形 式 是 : 
$ bash 脚本 名 【参数 ] 


例如 : 


$ bash ex2 /usr/meng /usr/zhang 


其 执行 过 程 与 上 一 种 方式 一 样 ， 但 这 种 方式 的 好 处 是 能 在 脚本 名 后 面 带 有 参数 ， 从 而 将 参数 
值 传递 给 程序 中 的 命令 ， 使 一 个 Shell 脚本 可 以 处 理 多 种 情况 ， 就 如 同 函 数 调用 时 可 根据 具体 
问题 传递 相应 的 实 参 。 


范例 : 以 . 来 执行 
如 果 以 当前 Shell (以 ， 表示 ) 执行 一 个 Shell 脚本 ， 则 可 以 使 用 如 下 简便 形式 : 


$$ ， ex3 [参数 ] 


范例 : 直接 执行 


将 Shell 脚本 的 权限 设置 为 可 执行 ， 然 后 在 提示 符 下 直接 执行 它 。 


具体 办 法 : 


$ chmod a+x ex4 
$ ./ex4 


这 个 要 求 在 Shell 脚本 的 开头 指明 执行 该 脚本 的 具体 Shell， 例 如 /bin/bash : 


#!/bin/bash 


Shell 的 执行 原理 


Shell 接收 用 户 输 入 的 命令 (脚本 名 ) ， 并 进行 分 析 。 如 果 文 件 被 标记 为 可 执行 ， 但 不 是 被 编 
译 过 的 程序 ，Shell 就 认为 它 是 一 个 Shell 脚本 。 Shell 将 读 取 其 中 的 内 容 ， 并 加 以 解释 执 
行 。 所 以 ， 从 用 户 的 观点 看 ， 执 行 Shell 脚本 的 方式 与 执行 一 般 的 可 执行 文件 的 方式 相似 。 


因此 ， 用 户 开 发 的 Shell 脚本 可 以 驻 留 在 命令 搜索 路 径 的 目录 之 下 (通常 是 
/bin 、 /usr/bin 等 ) ， 像 普通 命令 一 样 使 有 用。 这样， 也 就 开发 出 自己 的 新 命令 。 如 果 打 算 
反复 使 用 编 好 的 Shell 脚本 ， 那 么 采用 这 种 方式 就 比较 方便 。 


变量 赋值 


可 以 将 一 个 命令 的 执行 结果 赋值 给 变量 。 有 两 种 形式 的 命令 替换 : 一 种 是 使 用 倒 引号 引用 命 
令 ， 其 一 般 形式 是 : 命令 表 。 


范例 : 获取 当前 的 工作 目录 并 存放 到 变量 中 
$ dir= pwd. 
另 一 种 形式 是 : $( 命 人 表 ) 。 上 面 的 命令 行 也 可 以 改写 为 : 


$ dir=$(pwd ) 


数组 


Bash 只 提供 一 维 数组 ， 并 且 没有 限定 数组 的 大 小 。 类 似 与 C 语言 ， 数 组 元 素 的 下 标 由 0 开 
始 编号 。 获 取 数 组 中 的 元 素 要 利用 下 标 。 下 标 可 以 是 整数 或 算术 表达 式 ， 其 值 应 大 于 或 等 于 0 
。 用 户 可 以 使 用 赋值 语句 对 数组 变量 赋值 。 


范例 : 对 数组 元 素 赋 值 
对 数组 元 素 赋值 的 一 般 形 式 是 : 数组 名 [下 标 ]= 值 ， 例 如 : 


$ city[0]=Beijing 
$ city[1]=Shanghai 
$ city[2]=Tianjin 


也 可 以 用 declare 命令 显 式 声明 一 个 数组 ， 一 般 形式 是 : 


$ declare -a 数组 名 


范例 ; 访问 某 个 数组 元 素 

读 取 数组 元 素 值 的 一 般 格式 是 : ”$f{ 数 组 名 [下 标 ]} ， 例 如 : 
$ echo ${city[0]} 

Beijing 

范例 : 数组 组 合 赋值 


一 个 数组 的 各 个 元 素 可 以 利用 上 述 方式 一 个 元 素 一 个 元 素 地 赋值 ， 也 可 以 组 合 赋值 。 定 义 一 
个 数组 并 为 其 赋 初 值 的 一 般 形式 是 : 


数组 名 =( 值 1 值 2 ..， 值 n) 


其 中 ， 各 个 值 之 间 以 空格 分 开 。 例 如 : 


$ A=(this is an example of shell script) 
$ echo ${A[0]} ${A[2]} ${A[3]} ${A[6]} 
this an example script 

$ echo ${A[8]} 


由 于 值 表 中 初 值 共 有 7 个 ， 所 以 A 的 元 素 个 数 也 是 7。 A[8] 超出 了 已 赋值 的 数组 A 的 
范围 ， 就 认为 它 是 一 个 新 元 素 ， 由 于 预先 没有 赋值 ， 所 以 它 的 值 是 空 串 。 
若 没 有 给 出 数组 元 素 的 下 标 ， 则 数组 名 表示 下 标 为 0 的 数组 元 素 ， 如 city 就 等 价 于 


city[0] ° 


范例 : 列 出 数组 中 所 有 内 容 


使 用 * 或 @ 做 下 标 ， 则 会 以 数组 中 所 有 元 素 取代 。 


$ echo ${A[*]} 
this is an example of shell script 


范例 : 获取 数组 元 素 个 数 


$ echo ${#A[*]} 
7 


参数 传递 


假如 要 编写 一 个 Shell 来 求 两 个 数 的 和 ， 可 以 怎么 实现 呢 ? 为 了 介绍 参数 传递 的 用 法 ， 编 写 这 
样 一 个 脚本 : 


$ cat > add 
let sum=$1+$2 
echo $sum 


保存 后 ， 执 行 一 下 : 


$ chmod a+x ./add 
$ ./add 5 10 
5 


可 以 看 出 5 和 10 分 别传 给 了 $1 和 $2 ， 这 是 Shell 自己 预 设 的 参数 顺序 ， 其 实 也 可 以 先 
定义 好 变量 ， 然 后 传递 进去 。 


例如 ， 人 和 修改 上 述 脚本 得 到 : 


let sum=$X+$Y 
echo $sum 


再 次 执行 : 


$ X=5 Y=10 ./add 
15 


可 以 发 现 ， 同 样 可 以 得 到 正确 结果 。 


设置 环境 变量 


export 一 个 环境 变量 : 


$ export opid=True 


， 如 果 要 登陆 后 都 生效 ， 可 以 直接 添加 到 /etc/profile 或 者 ~/.bashrc 


可 以 通过 read 来 读 取 变量 值 ， 例 如， 来 等 待 用 户 输入 一 个 值 并 且 显 示 出 来 : 


$ read -p "请 输入 一 个 值 : " input ; echo "你 输入 了 一 个 值 为 :" $input 
请 输入 一 个 值 : 21500 
你 输入 了 一 个 值 为 : 21500 


设置 变量 的 只 读 属 性 
有 些 重 要 的 Shell 变量 ， 赋 值 后 该 修改 ， 那 么 可 设置 它 为 readonly 


$ oracle home=/usr/oracle7/bin 
$ readonly oracle_home 


条 件 测试 命令 test 
语法 : test 表达 式 如 果 表 达 式 为 夏 ， 则 返回 夏 ， 否 则 ， 返 回 假 。 
范例 : 数值 比较 


先 给 出 数值 比较 时 常见 的 比较 符 : 


-eg =; -ne !=; -gt >; -ge >=;-lt <;-le <= 


$ test var1 -gt var2 


沁 例 : 测试 文件 属性 


文件 的 可 读 、 可 写 、 可 执行 ， 是 否 为 普通 文件 ， 是 否 为 目录 分 别 对 应 : 


$ test -r filename 


范例 : 字符 传 属性 以 及 比较 
串 的 长 度 为 零 : -z ; 非 零 : -n， 如 : 


$ test -z si1 


0° 


如 果 囊 sl 长 度 为 零 ， 返 回 


Ec 


范例 : 串 比 较 
相等 "sl1"="s2" ; 不 相等 "s1"14="s2n 


还 有 一 种 比较 串 的 方法 (可 以 按 字典 序 来 比较 ) 


$ if [[ 'abcde' < 'abcdf' ]]; then echo "yeah, 采 然 是 译 "; fi 
yeah, 果然 是 族 


入 -二 入 。 。 > 四 上 号 二 管 
骨 术 运 骨 : RN ; 退 畔 运往 忆 焉 


if 命令 举例 : 如 果 第 一 个 参数 是 一 个 普通 文件 名 ， 那 么 分 页 打印 该 文件 ; 否则 ， 如 果 它 为 
目录 并 打印 该 目录 下 的 所 有 文件 ， 如 果 也 不 是 目录 ， 那 么 提示 相关 信息 。 


if test -f $1 
then 
pr $1>/dev/1p0 
elif 
test-d $1 
then 
(cd $1;pr *>/dev/1p0) 
else 


echo $1 is neither a file nor a directory 


fi 
范例 : case 命令 举例 
case 命令 是 一 个 基于 模式 匹配 的 多 路 分 支 命令 ， 下 面 将 根据 用 户 键盘 输入 情况 决定 下 一 步 


是 一 
将 执行 那 一 组 命令 。 


while [ $reply!="y" ] && [ $reply!="Y" ] # 下 面 将 学 习 的 循环 语句 
do 
echo "\nAre you want to continue?(Y/N)\c" 
read reply # 读 取 键 盘 
case $replay in 
(yl|Y) break;; # 退 出 循环 
(NIN) echo "\n\nTerminating\n" 
exit ©;; 
*) echo "\n\nPlease answer y or Nn" 
continue; # 直 接 返 回 内 层 循环 开始 出 继续 
esac 
done 


范例 : 循环 语句 while, until 
语法 : 


while/until 命令 表 1 
do 


区 别 是 ， 前 者 执行 命令 表 1 后， 为 零 ， 那 么 执行 do 后 面 的 命令 表 2， 然 后 回 
到 起 始 处 ， 而 后 者 执行 命令 表 1 后 ， 如 果 退 出 状态 非 零 ， 才 执行 类 似 操作 。 例 子 同 上 。 


范例 : 有 限 循 环 命令 for 


语法 : 


for 变量 名 in 字符 串 表 


do 
命令 表 
done 
举例 


FILE="test1.c myfile1.f pccn.h" 
for i in $FILE 
do 
cd ./tmp 
cp $1i $i.old 
echo "$i copied" 
done 


现在 来 看 看 Shell 里 头 的 函数 用 法 ， 先 看 个 例子 : 号 一 个 函数 ， 然 后 调用 


World! 


$ cat > show 
# 函数 定义 
function Show 
{ 
echo $1$2; 
} 
H="Hello," 
W="World!" 
# 调用 函数 ， 并 传 给 两 个 参数 H 和 W 
Show $H $W 


Dag 
3 


$ chmod 770 show 
$./show 
Hello, World! 


看 出 什么 蹊跷 了 吗 ? 


$ Show $H $W 


咱们 可 以 直接 在 函数 名 后 面 跟 实 参 。 


实 参 顺序 对 应 “ 虚 参 "的 $1,$2,$3 ...... 


CY 


注意 : 假如 要 传 入 一 个 参数 ， 如 果 这 个 参数 中 间 带 空格 ， 怎 么 办 ? 先 试 试看 。 


来 显示 Hello world 《两 个 单词 之 间 有 个 空格 ) 


function Show 


{ 
echo $1 
} 
HW="Hello World" 
show "$HW" 


如 果 直 接 Show $HW ， 肯定 不 行 ， 因为 $1 只 接受 到 了 Hello ， 所 以 结果 只 显示 Hello ， 
原因 是 字符 串 变 量 必 须 用 " 包含 起 来 。 


后 记 
感 兴 趣 的 话 继续 学 习 吧 | 


还 有 好 多 强大 的 东西 等 着 呢 ， 比 如 cut ， expr ，? sed ， awk 等 等 。 


